苹果推出AI训练新方法 用任务清单替代人工评分显著提升模型性能
苹果公司研究团队近日在最新论文中提出了一种名为"基于清单反馈的强化学习"(RLCF)的创新训练方法,通过用具体任务清单替代苹果传统的人工点赞评分机制,大幅提升了大语言模型执行复杂指令的能力。 据了解,RLCF全称为Reinforcement Learning推出 from Checklist Feedback,与目前广泛采用的"人类反馈强化学习"(RLHF)方法形成鲜明对比。传统RLHF方法主要AI依赖人工进行简单的点赞或点踩评价,而RLCF则为每条用户指令生成详细的检查清单,并按0-100分的标准对各项内容进行精确评分,以训练此作为模型优化的指导依据。 苹果研究团队选择了强指令跟随模型Qwen2.5-7B-Instruct作为测试对象,并在五个常用评新方测基准上进行了全面验证。测试结果显示,RLCF是唯一在所有测试项目中都取得性能提升的训练方案。 具体数据显示,在FollowBench法 测试中,硬性满意率提升了4个百分点。InFoBench评分提高6点,Arena-Hard胜率增加3点。在某些特定任务中,性用任能提升幅度最高达到8.2%。这些数据表明,清单反馈方法在处理复杂多步骤任务时表现尤为突出。 在技术实现方面,苹果团队的清单生成过程颇具务清创新性。他们采用更大规模的Qwen2.5-72B-Instruct模型,结合现有研究方法,为13万条指令构建了名为"WildChe单替cklists"的专用数据集。清单内容设计为明确的二元判断项,例如"是否翻译成西班牙语"等具体要求。随后,大模型对候选回答进行逐项评代人分,通过综合加权处理后形成训练奖励信号,指导小模型的学习优化过程。 不过,苹果研究人员也坦率承认了该方法的局限性。首先,RLC工评F需要依赖更强大的模型作为评判标准,这在计算资源受限的场景下可能面临实施困难。其次,该方法专门针对复杂指令执行能力的提升而分显设计,并非用于安全对齐目的,因此无法替代现有的安全性评估和调优机制。对于其他类型的AI任务,RLCF方法的适用性还需要进一步的实验著提验证。 业界专家认为,苹果此次提出的RLCF方法为AI模型训练提供了新的思路,特别是在处理复杂多步骤任务方面展现出明显优势。随着技术的升模进一步完善,这一方法有望在实际应用中发挥更大作用。
- 最近发表
-
- 阿里交Q4答卷:月活超9亿、净利润增长超50% 阿里云终“转正”
- Gartner指出云战略制定过程中的十个常见错误
- Fedora 社区推出 AI 辅助贡献政策草案,征求意见中
- 港股大模型股 “深跌”!智谱与 Minimax 在 Deepseek V4 发布后遭遇重创
- 宾大研究揭示:对 AI 越 “粗鲁”,答案越精准!
- 米卫兵是什么梗炉石1991
- Databricks与OpenAI达成1亿美元合作,推动 AI 集成新篇章
- 标签: 国家大基金 比亚迪璇玑A3 小红书世界杯 DeepSeek
- Meta 将 AI 编辑功能直接嵌入 Instagram Stories,一键生成梦幻特效
- 标签: OpenAI GPT-5.4 人工智能 超级AI应用
- 随机阅读
-
- IBM第一季度营收177亿美元 净利润同比下降19%
- 通过AIOps进行网络管理的常用方式
- 标签: 三六零 360公司 财报 净亏损
- 实测讯飞输入法全网下架 苹果安卓等应用商场已无法下载
- 携程商旅发布AI生态全景图:推出7大行业Agent并开放17项底层能力
- 标签: 高通 微软 Meta DragonflyC1000
- 标签: 谷歌云 Wiz 云安全 Assaf Rappaport
- Google 发布 Deep Research 智能体:深层调研进入“自动驾驶”时代
- AI Factory如何快速安全地从概念进入产业化
- 标签: 月之暗面 Kimi 隐私泄露 AI幻觉
- 我们一起解密数据分析
- 标签: 群核科技 ManycoreTech 杭州六小龙 空间智能
- 美光245TB 6600 ION 数据中心 SSD 现已出货
- 标签: 闪迪 AI基础设施 数据中心 边缘计算
- 标签: 保罗在美国 微软产品经理 东北话博主 孕产视频争议
- 标签: 绿联科技 电子配件 A+H上市 NAS
- 标签: 极米科技 财报 净利润 研发创新
- 用Elastic Block Store(EBS)改善性能和数据可用性 译文
- 64T算力入户,萤石发布AI Core X智能主机
- 亚马逊在印度推出新产品,进军教育领域
- 搜索
-
- 友情链接