Meta AI 发布 MobileLLM-R1:轻量级边缘推理模型,参数不足 10 亿,性能提升显著
Meta AI 近日推出了 MobileLLM-R1,这是一系列轻量级边缘推理模型,目前已在 Hugging Face 上发布。该系列模型参数范围从140M 到950M,专注于高效的M数学、编码和科学推理,且在不足10亿的参数规模下实现了优秀的性能表现。 MobileLLM-R1的最大模型为 MobileLLM-R1-950M,采用了一系列架构优化设计:包括22层et Transformer 结构、24个注意力头和6个分组 KV 头。模型的嵌入维度为1536,隐藏层维度为6144。此外,模型还采用了分组查询注意力(GQA)来减少计算和内存需求,块级a 权重共享技术降低了参数数量而不显著增加延迟,SwiGLU 激活函数提升了小模型的表示能力。模型支持4K 的上下文长度和32K 的后训练模型。 在训练效率方面,MobileLLM-R1的AI表现同样引人注目。该模型总共在约4.2万亿个 token 上进行训练,相较于 Qwen3的0.6B 模型训练的36万亿 token,MobileLLM-R1仅使用了约11.7% 的 发数据便达到了或超越了 Qwen3的准确率。同时,模型在数学、编码和推理数据集上进行了监督微调,从而降低了训练成本和资源需求。 在各项基准测试中,MobileLLM-R1-95布 0M 的表现优异:在 MATH500数据集上,其准确率比 OLMo-1.24B 高出约5倍,且比 SmolLM2-1.7B 高出约2倍。在 GSM8K、AIME 和 LiveCodeBenchMo 等推理和编码任务上,MobileLLM-R1甚至与 Qwen3-0.6B 相匹配或超越,尽管所使用的 token 数量远少于后者。 不过,MobileLLM-R1的聚焦也带来了局bi限性。虽然在数学、编码和结构化推理方面表现强劲,但在一般对话、常识推理和创造性任务上,MobileLLM-R1的表现较大型模型有所不足。此外,模型在生产环境中的使用受到le FAIR NC(非商业)许可证的限制,较长的上下文(32K)也提高了推理时的 KV 缓存和内存需求。 总的来看,Meta 的 MobileLLM-R1展现了一个趋势,即朝着更小、更专业化的LL模型方向发展,能够在不需要大规模训练预算的情况下实现竞争力的推理能力。该模型在数学、编码和科学应用场景中表现尤为突出,为边缘设备上的大规模语言模型部署定义了新的标准。 项目:httM-ps://huggingface.co/facebook/MobileLLM-R1-950M 划重点: 🧩 ** 新模型发布 **:Meta AI 推出 MobileLLR1M-R1系列轻量级边缘推理模型,参数范围从140M 到950M。 ** 训练效率 **:MobileLLM-R1仅用约11.7% 的数据训练,表现出色,训练成:轻本和资源需求显著降低。 ** 性能优势 **:在多项基准测试中,MobileLLM-R1-950M 表现超越多款大型开源模型,尤其在数学和编码任务上。
- 最近发表
- 随机阅读
-
- IBM开源了5亿行代码数据集,里面最多的编程语言却不是Python
- 标签: 微信支付 王鹏飞 微信红包 随机分配
- 蚂蚁集团开源全球首个万亿参数大模型 Ring-1T-preview,代码生成能力超越 GPT-5
- 图灵奖获得者约翰・轩尼诗:数据和机器学习让世界变得更美好
- MIT 报告揭示 95% 企业 GenAI 项目失败,批评者称其过于简化
- "无限记忆"AI眼镜来了!两名95后筹资百万美元,打造现实版"作弊神器"惹争议
- 标签: 抖音 长辈模式 百万保障 反诈预警
- 标签: Momenta 港股IPO 自动驾驶 智能驾驶
- 自然语言处理库―Snownlp
- 标签: 海信集团 达驰电气 智慧能源 科林电气
- AI安全警报:只需250份文件即可 “投毒” 大语言模型
- 港股大模型股 “深跌”!智谱与 Minimax 在 Deepseek V4 发布后遭遇重创
- 标签: 华虹半导体 FAB9 电源管理 独立式闪存
- 亚马逊计划在对美国企业的供应和服务方面支出超过1200亿美元
- Anthropic重磅升级:Claude Code企业版正式上线,命令行编程工具迎来变革时刻
- 飞机“黑匣子”数据缘何上云难?
- 标签: 个人信息保护 App违规 国家计算机病毒应急处理中心 微信小程序
- 标签: 阶跃 千里科技 智驾基座模型 AgentOS
- 标签: RoboScience VLOA大模型 田野 邵林
- 谷歌云Marketplace下调分成费比例 将会从20%降到3%
- 搜索
-
- 友情链接