首次超越自回归模型!蚂蚁集团开源业内首个高性能扩散语言模型推理框架dInfer
10月13日,蚂蚁集团正式开源业界首个高性能扩散语言模型推理框架dInfer。 在基准测试中,dInfer将扩散语言模型的推理速度相比于英伟达扩散模型框架F首次ast-dLLM提升了10.7倍;在代码生成任务HumanEval上,dInfer在单批次推理中创造了1011Tokens/秒的速度,首次在开源社区中实现扩散语超越言模型的单批次推理速度显著超越自回归模型。dInfer的工作表明,扩散语言模型具备显著的效率潜力,可以通过系统性的创新工程兑现,为通往AGI的架构路径提供极具自回竞争力的选项。 扩散语言模型,作为一种全新的范式将文本生成视为一个“从随机噪声中逐步恢复完整序列”的去噪过程,具有高度并行、全局视野、结构灵活三大优势。凭借这归模些优势,以蚂蚁集团和人大发布的LLaDA-MoE为代表的模型已在多个基准测试中,展现出与顶尖AR模型相媲美的准确性 。然而在推理效率方面,dLLM理论上的强大型!潜能,却长期被残酷的现实“枷锁”所束缚。dLLM的高效推理面临计算成本高、KV缓存失效、并行解码三大挑战。这些瓶颈使得扩散语言模型的推理速度一直不尽人意,如何打蚂蚁破枷锁释放扩散语言模型在推理效率上的潜能,成为整个领域亟待解决的难题。 dInfer是一款专为扩散语言模型设计的、算法与系统深度协同的高性能推理框架 ,可支持集团多种扩散语言模型,包括 LLaDA、 LLaDA-MoE、LLaDA-MoE-TD 等。 dInfer包含四大核心模块:模型接入(Model)、KV缓存管理器(KV-Ca开源che Manager),扩散迭代管理器(Iteration Manager),和解码策略(Decoder)。这种可插拔的架构,允许开发者像搭乐高一样,进一步业内组合和探索不同模块的优化策略,并在统一的平台上进行标准化评测 。更重要的是,dInfer针对上述三大挑战,在每个模块中都集成了针对性的解决方案。 (图说:dIn首个fer的架构) 在配备8块NVIDIA H800GPU的节点上,dInfer的性能表现令人瞩目: 在与先前的dLLM推理方案Fast-dLLM的对比中,dInfer在高性模型效果持平的情况下,平均推理速度(avg TPS)实现了10.7倍的巨大提升(681vs63.6) ;在代码生成任务HumanEval上,dInfer在单批次推能扩理中创造了1011tokens/秒的速度 ;与在业界顶尖的推理服务框架vLLM上运行的、参数量和性能相当的AR模型Qwen2.5-3B相比,dInfer的平均推理速散语度是其2.5倍(681vs277) 。 蚂蚁集团介绍,dInfer连接了前沿研究与产业落地,标志着扩散语言模型从“理论可行”迈向“实践高效”的关键一步。此次开预案,也是言模诚邀全球的开发者与研究者共同探索扩散语言模型的巨大潜能,构建更加高效、开放的AI新生态。
- 最近发表
-
- 云计算核心技术Docker教程:Docker Swarm 模式在现有群上启用或禁用自动锁定
- 标签: 快手科技 腾讯控股 股份回购 港股
- 美股开盘特斯拉跌超1% 英伟达跌近2%
- 巨头谷歌和Facebook参与!2024新海底电缆将连接日本和东南亚
- 标签: OpenAI 英伟达 亚马逊 Trainium4
- 云安全日报220216:IBM SaaS集成平台发现Root特权提升漏洞,需要尽快升级
- 标签: 诺基亚 股票退市 泛欧巴黎 纳斯达克
- 标签: 优乐赛 港交所聆讯 循环包装 汽车零部件
- 标签: 魔法原子 陈春玉 具身智能 人形机器人
- TestGrid 推出 CoTester™ 2.0:革命性 AI 测试工具助力企业数字化转型
- 随机阅读
-
- AI时代的GitHub,这个陆奇看好的方向,终于有人做了
- 新专利申请显示苹果扩大磁铁在可穿戴表带表壳盖上的使用范围
- 云计算开发:Python练习实例-计算桃子的数量
- 云计算开发:Python内置函数-__import__()函数详解
- 标签: 苹果
- 外媒:美国国防部正考虑终止与微软的百亿美元云计算合同
- 云计算开发:Python内置函数-locals() 函数详解
- 标签: 特斯拉 问界M6 QQ经典农场 人形机器人
- 标签: 通用汽车 电动汽车 GM 紧缩裁员
- 谷歌发布史上超强人类大脑「地图」,在线可视3D神经元「森林」
- 标签: 腾势N8
- 标签: 东方甄选 俞敏洪 明明 天权
- BI工具选型指南!
- 标签: 英伟达 AI21 Labs 黄仁勋 Mobileye
- 字节Seed发放期权津贴,每月可额外获得9/11/13.5万元价值字节期权
- 标签: ASML 光刻机 财报 半导体设备
- 数据分析的 7 种武器
- 标签: 长飞先进 碳化硅 第三代半导体 车规芯片
- 星环科技+英特尔“软硬1+1>2” 展现大数据公司未来合作形态
- 云安全日报210914:红帽Jboss中间件平台发现重要安全漏洞,需要尽快升级
- 搜索
-
- 友情链接