月之暗面推出新型混合线性注意力架构 “Kimi Linear”
近日,月之暗面发布了一种全新的混合线性注意力架构,名为 “Kimi Linear”。这一架构据称在处理短距月离、长距离信息以及强化学习(RL)等多种场景中,性能优于传统的全注意力方法。其核心技术 Kimi Delta A之暗ttention(KDA)是对 Gated DeltaNet 的一次优化,特别引入了一种更高效的门控机制,以更好地管面推理有限状态 RNN 的记忆使用。 Kimi Linear 的设计由三份 Kimi Delta Attention 和一份全局出新 MLA 组成。这种结构通过细粒度的门控来压缩有限状态 RNN 的记忆,使得模型在处理信息时更加高效。官方指出,在处理1型混M token 的数据场景中,Kimi Linear 的 KV cache 占用降低了75%,而解码吞吐量最高可提升合线6倍,TPOT 相较于传统 MLA 加速了6.3倍。 这种新的架构为各种 AI 应用场景提供了更强的支持,无论是在信性注息密集型的自然语言处理任务还是在动态环境中的强化学习,Kimi Linear 都有着显著的优势。随着 AI 技术的意力不断发展,这种高效的注意力机制可能会为未来的智能应用带来新的突破。 更多技术细节可以在 Kimi Linear 的技术报架构告中找到,https://github.com/MoonshotAI/Kimi-Linear/blob/mas “ter/tech_report.pdf。 划重点: Kimi Linear 是一种新型的混合线Ki性注意力架构,优化了信息处理性能。 该架构在1M token 场景下,KV cache 占mi用减少75%,解码吞吐量提升6倍。 Kimi Delta Attention 是其核心技术, L通过细粒度门控优化了 RNN 的记忆管理。
- 最近发表
- 随机阅读
-
- 2022你不可不知的云应用及技术九大发展趋势
- Cursor1.6发布:AI 代码编辑器引入自定义命令,提升团队协作效率
- 2022上半年中国关系型数据库市场报告出炉:阿里云蝉联榜首、份额稳中有升
- 标签: SpaceX Cursor Anysphere 600亿美元
- 标签: 云知声 山海·知音2.0 山海·Atlas ASR
- 标签: 马化腾 腾讯 元宝
- 亚马逊云计算业务CEO计划调整产品策略 为特定行业推出更多定制产品
- LayerX 获 1 亿美元融资,借助 AI 技术助力日本企业减轻后台工作负担
- 标签: 京东 刘强东 京东物流 物流成本
- 云计算核心技术Docker教程:Docker Compose 介绍
- 标签: 自变量 具身智能 WALL-B 小米战投
- Apache Doris4.0正式发布:引领 AI 与搜索技术的新潮流
- Facebook曾主动提议帮助打造新的社交网络以规避反垄断指控
- 莲子怎么晒干不变色
- 羊肉放冰箱冷藏可以保存多久
- 日本将亚马逊、谷歌、苹果等5家科技巨头指定为管制对象
- 魔王华为高管是什么梗
- 标签: 药明合联 CRDMO 生物偶联药物 ADC
- 昆仑万维响应《人工智能生成合成内容标识办法》,启动 AI 内容双重标识体系
- 云安全日报210817:IBM云安全和集成平台发现拒绝服务攻击漏洞,需要尽快升级
- 搜索
-
- 友情链接