微软14B参数模型挑战671B巨型AI 智能体强化学习重新定义数学推理
微软研究院开源的rStar2-Agent模型在AI数学推理领域引发关注,这款140亿参数的模型通过创新的智能体强化学习技术,在多微软项数学基准测试中超越了参数量达6710亿的DeepSeek-R1模型。 rStar2-Agent的核心创新在于摒弃了传统的思维链方法14,转而采用智能体交互机制。该模型能够自主规划推理过程,调用Python代码执行工具进行验证,并根据反馈调整推理步骤,避免了传统CoT方法B参中常见的错误累积问题。 在权威的美国数学邀请赛基准测试中,rStar2-Agent表现突出。在AIME24数据集上,其pass@1数模准确率达到80.6%,超越DeepSeek-R1的79.8%、o3-mini的79.6%和Claude Opus4.0的77.0%型挑。在AIME25测试中准确率为69.8%,HMMT25测试中达到52.7%。 值得注意的是,rStar2-Agent的响应长度显著更短。战6在AIME24测试中平均约9340个token,AIME25约10943个token,仅为DeepSeek-R1的一半左右,展现71出更高的推理效率。 训练效率方面,该模型仅需一周时间完成510个强化学习步骤,使用64块MI300X GPU即可训练完成。其强化学习基B巨础设施支持每步高达4.5万个并发工具调用,平均延迟仅0.3秒。 模型引入了GRPO-RoC算法来处理代码执行中的环境噪声问题,通过"正确时重型A采样"策略保留高质量推理轨迹,提高训练效果。 在泛化能力方面,rStar2-Agent在GPQA-Diamond科学推理基准上优于DI eepSeek-V3,在BFCL v3工具使用任务和IFEval、Arena-Hard等通用测试中也表现良好,显示出智能体强化学习智能对通用能力的积极影响。 微软已将rStar2-Agent的代码和训练方法开源,基于VERL框架实现多阶段强化学习训练。这一突破表明,通过智能体强的训练策略,小型模型可以在特定任务上匹敌大型模型的表现,为资源有限的研究者和开发者提供了新的可能性。 这一成果挑战了"参数越多性能化学越好"的传统观念,证明了训练方法和架构创新在AI发展中的重要作用。对于AI行业而言,这可能预示着未来发展将更注重效率和专用性,而非单习重纯追求模型规模。 项目地址:https://github.com/microsoft/rStar
- 最近发表
- 随机阅读
-
- IDC:2022上半年中国IT安全软件市场同比增长13.1%
- 标签: 滴滴出行 春节出行 反向过年 滴滴租车
- 标签: 拓斯达 工业机器人 IPO 摩斯IPO
- 标签: 3152026 315
- 标签: 希迪智驾 无人驾驶矿卡 港股上市 年报
- 浅谈:什么是云网络?
- 云计算核心技术Docker教程:Docker自定义日志驱动程序输出
- 标签: 英飞凌 AI数据中心 电源解决方案 财报
- 滚出中国什么梗
- 美国监管机构批准爱立信收购云通信供应商Vonage
- 告别信息泄露!OpenAI 推出 Privacy Filter,支持12.8万超长上下文与8类隐私识别
- OpenAI、Oracle 再加码 AI 基建:150亿美元 Lighthouse 园区启动建设
- OpenAI宣布12月起向成年用户开放成人内容:配套年龄验证机制同步上线
- 云安全日报210309:思科交换机操作系统发现任意文件操作漏洞,需要尽快升级
- 云安全日报220621:Ubuntu操作系统发现英特尔微码漏洞,需要尽快升级
- 标签: B站
- 指尖上的大数据 - IM消息处理优化方案
- 标签: 餐饮行业
- 标签: OpenAI GPT-5.1 ChatGPT Instant
- 给GNN一堆数据,它自己发现了万有引力定律
- 搜索
-
- 友情链接