蚂蚁集团重磅推出 dInfer:让扩散语言模型的推理速度飙升 10 倍!
近日,蚂蚁集团正式开源了业内首个高性能扩散语言模型推理框架 ——dInfer。这一框架的推出,不仅意味着扩散语言蚂蚁模型在推理速度上取得了重大突破,也标志着这一新兴技术向实际应用迈出了重要一步。 在最新的基准测试中,dInfer 的推理速集团度比英伟达的 Fast-dLLM 框架提升了惊人的10.7倍。在代码生成任务 HumanEval 中,dInfer 在单次推理中达重磅到了每秒1011个 Tokens 的速度,这一成绩在开源社区中首次实现了扩散语言模型的推理速度显著超越传统自回归模型。这样推出的进展让人们对扩散语言模型的未来充满期待,认为它将成为通往通用人工智能(AGI)的重要技术路径。 扩散语言模型的独 d特之处在于其将文本生成视作一个 “从随机噪声中逐步恢复完整序列” 的去噪过程,具备高度并行、全局视野以及结构灵活的特点In。尽管理论上拥有强大的潜力,dLLM 在实际推理中却受限于高计算成本、KV 缓存失效和并行解码等挑战。这些难题使得扩fe散语言模型的推理速度一直未能得到充分发挥,亟待突破。 针对这些挑战,dInfer 专为扩散语言模型设计,包含了四大r:核心模块:模型接入、KV 缓存管理器、扩散迭代管理器和解码策略。这样的模块化设计,像乐高玩具一样,让开发者可以灵活组合和优让扩化各个模块,同时在统一的平台上进行标准化评测。 在配备8块 NVIDIA H800GPU 的节点上,dInfer 的表现极为出色散语。在与 Fast-dLLM 的对比中,dInfer 在效果相当的情况下,平均推理速度达到了681个 Tokens / 秒,相比之言模下,Fast-dLLM 的速度仅为63.6个 Tokens / 秒。此外,与业界顶尖的推理服务框架 vLLM 上运行的自回归模型 Qw型的en2.5-3B 相比,dInfer 的速度更是达到了其2.5倍。 蚂蚁集团表示,dInfer 的推出是连接前沿研究与产推理业应用的重要一步,期待全球的开发者与研究者共同探索扩散语言模型的巨大潜能,构建更加高效与开放的 AI 生态。
- 最近发表
-
- 云计算和大数据成为了一个行业的标配
- 标签: 安序源 港交所上市 集成电路 生物科技
- Google 在搜索垄断补救听证会上为 Gemini 辩护,极力争取 AI 业务扩张自由
- 百度发布GenFlow4.0:Office Agent全面升级,月活用户突破1亿
- 标签: 千问 标签
- 标签: 越疆机器人 DOBOTAtom RoverX1 协作机器人
- 云安全日报220531:IBM资产管理预测分析解决方案发现执行任意代码漏洞,需要尽快升级
- 标签: 卧安机器人 港交所上市 李泽湘 基石投资者
- Anthropic 的 Claude AI 正式上线 Xcode 26,助力开发者提升编码效率
- 消息称亚马逊和Spotify考虑竞购播客Audioboom
- 随机阅读
-
- 北京1400 多所中小学推行人工智能通识课程
- 标签: 华大基因 生育健康 无创产前检测 基因检测
- 数据分析和数据科学的五大不同之处 译文
- 京东启动“Aidol创造营”计划,全球征集AI智能硬件项目
- 标签: 夸克网盘 海外影视 美剧 韩剧 泰剧
- AI面试官初创公司Alex获1700万美元A轮融资:每天完成数千场面试,投资者看好招聘自动化趋势
- 谷歌搜索新增 AI Agent,餐厅预订与个性化服务一键搞定!
- 华纳兄弟发起 “反击战”:起诉AI图像生成公司Midjourney
- 云计算核心技术Docker教程:配置 Docker 以使用代理服务器
- 苹果发布macOS新版:可共用iOS应用
- 苹果因夸大iPhone防水遭起诉 网友:敢宣传就要敢保修!
- OpenAI 联手高通联发科研发手机芯片,立讯精密斩获独家代工并定于2028年量产
- 标签: 华为
- 标签: 乐高集团 乐高积木 倪志伟 可持续发展
- 标签: 奥迪 一汽奥迪 华为 华为乾崑 智能驾驶
- 云安全日报210106:红帽RHEL系统内核发现拒绝服务和特权提升漏洞,需要尽快升级
- 3D大模型公司影眸科技再获数千万美元融资,蓝驰创投领投
- 标签: Pinterest Assistant AI助手 社交平台
- 机器人智能抓取系统:目前几种主流的解决方案
- 标签: 上海垣信 千帆星座 Starlink 低轨卫星
- 搜索
-
- 友情链接