寒武纪宣布实现 DeepSeek-V4全系列模型 Day0适配并开源优化代码
寒武纪今日宣布,已基于 vLLM 推理框架完成对深度求索(DeepSeek)最新开源模型 De寒武epSeek-V4 全系列的“Day0”适配。此次改装涵盖285B 参数的 Flash 版本及1.6T 参数纪宣的 Pro 版本,确保模型在发布当日即可在寒武纪硬件平台上稳定运行,相关改装代码已正式开源至 Git布实Hub 社区。 针对 DeepSeek-V4 独有的稀疏注意力与压缩结构,寒武纪通过自研向量融合算子库 To现 rch-MLU-Ops 对 Compressor 等核心模块进行了专项加速。利用 BangC 高性能编程语De言,寒武纪团队编写了稀疏 Attention 及 GroupGemm 等热点算子的极致优化内核,ep并于 vLLM 框架中全面支持 TP/PP/SP/DP/EP 五维混合并行策略、低精度量化及 PD 分离Se部署。这些技术手段在满足延迟约束的前提下,显著提升了端到端推理的词元吞吐能力。 硬件层面,寒武纪深度ek挖掘了 MLU 的访存与排序加速特性,有效应对 DeepSeek-V4 复杂的索引结构。凭借高互联-V带宽与低延迟通信优势,该方案最大化降低了 Prefill 与 Decode 场景下的通信损耗,提升了推理利4全用率。 行业分析指出,DeepSeek-V4凭借百万字(1M)超长上下文及顶尖的逻辑推理性能,对底系列层算力架构提出了严苛要求。寒武纪在模型发布首日的敏捷适配,不仅展示了国产算力平台对超大规模型模、复杂结构模型的承载能力,也预示着国产 AI 产业链在软硬协同层面已进入成熟期,为大模型应用普惠 D提供了高效的算力底座支持。
- 最近发表
- 随机阅读
-
- 特斯拉自研超级计算机Dojo!将取代日本「富岳」成全球第一
- 标签: OpenAI 庞若鸣 Apple Intelligence Meta
- IBM达到磁带存储的里程碑,概述了磁带在混合云未来中的作用
- 如何提高PyTorch“炼丹”速度?这位小哥总结了17种方法,可直接上手更改的那种
- 云计算核心技术Docker教程:Docker使用OverlayFS存储驱动程序
- 标签: Akiitu 萤石
- 标签: 海尔金控 盈康一生 虞美人集团 于文红
- 谷歌大脑提出简化稀疏架构,预训练速度可达T5的7倍
- 亚马逊推出新服务:为买家创建“虚拟替身”来定制T恤
- Nature:机器促进人类语言的产生
- 标签: 联想 ISG CTO AI
- 标签: 禾芯动力 AWE2026 植保无人机P100S 浙江大学
- 标签: 壁仞科技 GPU第一股 张文 港股18C
- 为何金融领域应用“云遣返”现象大增?
- 标签: 东风日产 日产App 服务器故障 远程控制
- 标签: OMOWAY 小鹏汽车 OMO X 电动智能摩托车
- 云安全日报201204:Apache Tomcat应用服务器发现信息泄露漏洞,需要尽快升级
- 阿斯麦出资13亿欧元,成为Mistral AI最大股东
- 标签: 桑尼森迪 IP玩具 高瓴创投 港交所上市
- 美国司法部取消100亿美元JEDI合同:宣布新的云服务合同
- 搜索
-
- 友情链接