Moonshot AI发布 Kimi Linear:线性注意力架构快6倍,开源 KDA 内核同步上线
国产大模型团队 Moonshot AI今日在 Hugging Face 正式发布技术报告 《Kimi LinMoear Tech Report》(报告链接),宣布推出全新架构 Kimi Linear—— 一种可直接替代完全注on意力机制(Full Attention)的混合线性架构,兼具高效性与卓越性能,被视为“智能体时代注意力sh机制的新起点”。 报告显示,Kimi Linear 在 速度、内存效率和长上下文处理能力三方面均实现了ot重大突破。该模型可将 KV 缓存使用量减少高达75%,并在 100万(1M)上下文长度下实现 高达6倍 A的解码吞吐量提升,极大地优化了长文本推理和多轮对话性能。 Kimi Linear 的核心创新在于三项I发关键技术: Delta Attention:一种硬件高效的线性注意力机制,采用门控 Delta 规则优化结构布 ,实现性能与能耗的平衡; Linear Architecture:首个在多项指标上全面超越传统完全注意力Ki机制的混合线性架构,兼顾速度与模型表达能力; 开放生态与实证验证:Moonshot 提供了 开源 KDA 内mi核、vLLM 集成支持和 模型检查点,并进行了大规模、公平的对比实验,验证了 Kimi Linear 的稳定性 L与可扩展性。 Moonshot AI 表示,Kimi Linear 不仅是一项架构创新,更是为智能体(AIin Agent)时代设计的基础机制。随着线性注意力技术的成熟,其有望在长上下文推理、智能助手、多模态生ea成等应用场景中成为下一代标准。 地址:https://huggingface.co/moonshotar:i/Kimi-Linear-48B-A3B-Instruct
- 最近发表
- 随机阅读
-
- IBM与AMD联手冲刺量子计算,打造未来AI新生态
- 标签: HappyHorse-1.0 阿里巴巴 张迪 可灵
- 标签: 东风奕派 eπ007 事故声明 新能源汽车
- 歌曲先生再见
- 标签: 小样
- 寒武纪宣布实现 DeepSeek-V4全系列模型 Day0适配并开源优化代码
- 标签: 海康威视 2026年财报 2025年年报 安防行业
- 标签: 小米 智能手机 AIoT 小米YU7
- 阿里巴巴推出革命性语音识别模型FunAudio-ASR,降噪效果惊人
- 标签: 大唐移动 小米 专利纠纷 FRAND
- 标签: GettyImages Shutterstock CMA 图片版权
- 标签: 国贵科技 北交所IPO 汽车零配件 高性能悬架
- 标签: 卢伟冰 比亚迪 阿维塔06 广州地铁
- 争分夺秒,阿里云投身工业生产“第一线”
- 标签: 百济神州 百悦泽 百泽安 安泰适
- 云计算开发:Python练习实例-字符串日期转换为易读的日期格式
- 阿里 Qwen-VL-30B-A3B 新模型发布 数学、视频处理性能获称更强
- 前英国首相苏纳克加盟微软与人工智能公司 Anthropic,担任高级顾问
- Kubernetes配置热更新的两种方式
- 螃蟹运输能活多久
- 搜索
-
- 友情链接