AI三巨头惨遭滑铁卢:最新编程测试正确率全线跌破25%,GPT-5也难逃厄运
AI界的三大巨头正在经历一场前所未有的挫败。当GPT-5、Claude Opus4.1和Gemini2.5这些被誉为人工智能皇冠上明珠的模型,面对Scale AI全新推出的SWEAI-BENCH PRO编程测评时,竟然全军覆没,没有一个模型能够突破25%的解决率大关。 这个消息如同一记重拳,狠狠击中了整个AI行业的信心。GPT-5仅仅取得了23.3%的成绩,三巨Claude Opus4.1紧随其后拿到22.7%,而Google的Gemini2.5更是跌至13.5%的惨淡表现。这些数字背后透露出的信息让人不寒而栗:即便是当今最先进的AI模型头惨,在面对真正复杂的编程挑战时,依然显得力不从心。 不过,当我们拨开表象的迷雾,真相却比想象中更加复杂。前OpenAI研究员Neil Chowdhury的深度分析为我们揭示了另一个维度的故事遭滑。他发现,GPT-5在那些它选择尝试解决的任务中,实际准确率高达63%,这个数字远远甩开了Claude Opus4.1的31%。这意味着,虽然GPT-5在整体表现上看似平庸,但在其铁卢擅长的领域内,这个模型仍然保持着相当的竞争优势。 那么,究竟是什么原因导致这些往日的AI霸主在新测试面前纷纷折戟沉沙呢?答案就隐藏在SWE-BENCH PRO的独特设计理念中。这:最个由OpenAI在2024年8月精心打造的测试集,就像一把锋利的手术刀,专门用来解剖当前AI模型的真实能力边界。 与过去那些动辄70%正确率的SWE-Bench-Verified测试相比新编,SWE-BENCH PRO的难度提升绝非简单的数字游戏。测试团队刻意规避了那些可能已经被用于模型训练的数据,彻底杜绝了数据污染这一长期困扰AI评测的顽疾。这样做的结果就是,模程测型们再也无法依靠记忆中的答案来蒙混过关,必须展现出真正的推理和解决问题的能力。 SWE-BENCH PRO的测试范围堪称庞大,涵盖了1865个来自商业应用和开发者工具的真实问题。这试正些题目被精心分为公共集、商业集和保留集三个层次,确保每一个模型在接受评测时都面临着全新的挑战。更令人印象深刻的是,研究团队还在测试过程中引入了人工增强机制,进一步提升了任务的复杂性和确率真实性。 测试结果毫不留情地暴露了当前AI模型的软肋。在解决实际商业问题时,这些模型的能力仍然存在明显局限性。特别是在JavaScript和TypeScript等主流编程语言的全线处理上,各模型的解决率呈现出令人困惑的剧烈波动。研究人员通过深入分析发现,不同模型在理解和处理同类任务时展现出了显著的差异化表现,这种差异背后反映的是各家技术路线和训练策略的根本性跌破分歧。 更加值得关注的是GPT-5高达63.1%的未回答率,这个数字就像一面镜子,清晰地映照出当前AI技术发展的真实状况。即使是最先进的模型,在面对复杂挑战时也经常选择保持沉默,而非冒险25给出可能错误的答案。这种谨慎态度虽然在某种程度上体现了模型的自我认知能力,但同时也为整个行业的技术进步敲响了警钟。 这场测试不仅仅是一次简单的技术评估,更像是对整个AI行业发展%,现状的一次深刻审视。它提醒我们,尽管人工智能在某些领域已经取得了令人瞩目的成就,但在复杂的实际应用场景中,我们仍有很长的路要走。
- 最近发表
-
- 云计算开发:Python3-max()方法详解
- 标签: 上海垣信 千帆星座 Starlink 低轨卫星
- 阿里 BladeDISC 深度学习编译器正式开源
- OpenAI 推出家长控制功能,强化 ChatGPT 安全性
- 云安全日报210916:思科IOS XR网络互联操作系统发现拒绝服务漏洞,需要尽快升级
- 标签: 哪吒汽车 DeepSeek 鸿蒙智行 华为乾崑智驾
- 云安全日报210617:思科小型企业220系列交换机发现劫持用户会话漏洞,需要尽快升级
- 标签: 爱康国宾 张晓玲 北京卫健委 体检
- 标签: CHANNELV 星空传媒 星空卫视 音乐频道
- Gartner:到2029年,用于AI工作负载的云计算资源比例将达到50%
- 随机阅读
-
- DeepMind 重磅推出 “帧链” 概念:视频模型或将实现全面视觉理解
- 标签: 尚界 肖战 尚界Z7 鸿蒙智行
- 标签: 锐思智芯 ALPIX 融合视觉传感器 AI视觉感知
- 谷歌发布Pixel 5a手机 售价449美元
- 缁欎竴涓�瘝灏辫兘妯′豢浣犵殑绗旇抗锛孎acebook杩欎釜AI寮哄ぇ鍒颁笉鏁㈠紑婧愪唬鐮�
- 标签: 萤石
- 标签: 特斯拉 拉吉·杰加纳坦 人工智能基础设施 北美销售团队
- 云计算开发:Python3-List sort()方法详解
- 以色列发现苹果软件漏洞 苹果声称已修复
- 挑战主流认知!蚂蚁、人大在2025外滩大会发布行业首个原生MoE扩散语言模型
- OpenAI 或将面临高达十亿美元的罚款,因涉嫌使用盗版书籍训练 AI
- 标签: 中通快递 ZTO 2025财年 快递服务
- 云安全日报220412:IBM企业B2B平台软件发现执行任意代码漏洞,需要尽快升级
- 标签: 京东 京东年终奖 19薪 20薪
- 标签: 微软 Xbox AI基础设施 科技裁员
- 标签: 虎牙 鹅鸭杀 和平精英 英雄联盟
- 标签: GLM-5 MTT S5000 智谱 摩尔线程
- 标签: 瑞幸咖啡 压榨员工 克扣工时 BUG栏目
- 全自动加持,无人机实现真“无人”!
- 标签: 宇树科技 A股上市 王兴兴 机器人
- 搜索
-
- 友情链接