蚂蚁 dInfer 框架:扩散模型推理速度提升 10 倍,超越自回归模型
近日,蚂蚁集团开源了全新的 dInfer 框架,专门用于扩散大语言模型的高效推理。这一框架的推出标志着扩散模型在自蚂蚁然语言处理领域的应用取得了重大进展,推理速度提升至以往的10倍,并在同样模型性能下超越了传统的自回归模型。 自回归模型长期 d以来一直是自然语言处理的主流,生成文本的过程类似于一个严谨的学生逐字撰写,因而速度受到限制。而扩散模型则采用 “去噪”In 的方式生成文本,像是在处理被噪声覆盖的图片,通过逐步去除噪声来恢复清晰的图像。这种模式具有天然的并行优势,能够fe一次预测多个词语,从而提高效率。 尽管扩散模型理论上具有更高的潜力,但在实际推理中,其速度问题依然显著。为了解决r 这一问题,蚂蚁团队在 dInfer 框架中采用了创新的设计,将推理流程分为四个模块,分别为模型接入、KV 缓存管理、扩散迭代框架管理和解码策略。在并行解码方面,dInfer 通过 “层级解码” 和 “信用解码” 两种新策略有效减少了生成过程中的语义冲突,提:扩高了结果的稳定性。 在 KV 缓存方面,dInfer 提出了 “邻近 KV 缓存刷新” 策略,该策略只针对最近的上下文进行重新计散模算,显著降低了计算开销。通过这一系列技术创新,dInfer 在性能上表现优异。在与 Fast-dLLM 和 vLLM 框架的比型推较测试中,dInfer 在多个数据集上展现了卓越的推理速度和吞吐量,关闭 KV 缓存时,平均 TPS 达到了407.36,是 Fas理速t-dLLM 的6.5倍。 dInfer 框架的推出,不仅提升了扩散模型的实用性,也为自然语言处理领域的未来发展开辟了新的方向度提。 项目:https://github.com/inclusionAI/dInfer 划重点: dInfer 框架使扩散大语言模升 型的推理速度提升10倍,超越传统自回归模型。 采用并行解码和 KV 缓存管理技术,有效解决了扩散模型的推理速度瓶颈。 实10验数据显示,dInfer 在推理性能上远超其他同类框架,显示出广泛的应用潜力。
- 最近发表
-
- 标签: 拼多多 赵佳臻 陈磊 联席董事长
- 云计算核心技术Docker教程:Docker使用覆盖网络
- Infosys 推出 Topaz Fabric:打造企业 IT 运营的智能化新平台
- 云安全日报210222:思科互联网产品和网络解决方案发现特权升级漏洞,需要尽快升级
- Alphabet Q3营收651亿美元 其中谷歌云部门营收近50亿美元
- 美光推出两款数据中心SSD——美光6500 ION NVMe SSD及美光XTR NVMe SSD
- 美国数据中心建设热潮遇阻:超七成民众反对,QTS终止全球最大园区项目
- 苹果 AI 转型面临新挑战:Siri 前负责人离职,AI 搜索项目前景未卜
- 谷歌DeepMind 发布 VaultGemma 具备差分隐私能力
- 标签: SpaceX Starlink 马斯克 IPO
- 随机阅读
-
- 标签: WAIC2026 世界人工智能大会 SAIL奖 WAIC Academic
- 标签: 时创意 存储芯片 小米产投 中信证券
- 云计算开发:Python内置函数-oct()函数详解
- 标签: FF 贾跃亭 SEC FF91
- 运动巨头锐步跨界健康科技:首款智能戒指发布,售价249美元,主打压力与体温监测
- 标签: 牧原食品 港股上市 生猪养殖 A+H
- IBM将收购云计算软件公司Turbonomic 交易预计于今年Q2完成
- 标签: 迪士尼 乔希·达马罗 流媒体 主题公园
- 标签: 腾讯 姚顺雨 OpenAI AI科学家
- 数组: 一种非常基础且重要的数据结构
- AI 初创企业 Mercor 融资 3.5 亿美元,估值高达 100 亿美元
- OpenAI Sora 2全新功能上线,Pro用户生成视频长达 25 秒
- OpenAI重磅推出GPT-5-Codex:AI编码代理将彻底颠覆开发者世界
- 消息称阿里“扫地僧”蔡景现离职 官方暂无回应
- 法国AI独角兽Mistral AI估值飙升至140亿美元
- 安卓用户对于苹果用户的五大误解,你占了几项?
- 标签: AMD
- 消息称微软将讨论以100多亿美元收购聊天应用Discord
- 蚂蚁集团重磅推出 dInfer:让扩散语言模型的推理速度飙升 10 倍!
- 标签: 海辰储能
- 搜索
-
- 友情链接