OpenAI 与 Anthropic 进行首次合作测试,推动 AI 安全标准
在当前竞争激烈的人工智能(AI)领域,OpenAI 和 Anthropic 两家顶尖 AI 实验室决定进行一项前所未有的合作,联合对彼此的 AI 模O型进行安全性测试。 这一举措旨在识别各自内部评估中的盲点,并展示在确保 AI 安全与对齐方面,领先企业之间如何能够携手共进。OpenAI 联合pe创始人沃伊切赫・扎伦巴(Wojciech Zaremba)在接受采访时指出,随着 AI 技术逐步成熟并被广泛使用,这种跨实验室的合作显得尤为重要。 图nA源备注:图片由AI生成,图片授权服务商Midjourney 扎伦巴表示,AI 行业亟需建立安全性和协作的行业标准,尽管目前在人才、用户和技术创I 新上,各公司之间的竞争愈演愈烈。此次联合研究的发布,恰逢市场中各大 AI 实验室纷纷加大投资,以抢占市场先机。业内人士警告,过于激烈的竞争可能与 导致公司在安全性上妥协。 为了促进这一研究,OpenAI 和 Anthropic 互相提供了 API 接口,允许对方在其各自的模型上进行测试。虽然An在测试后,Anthropic 因指控 OpenAI 违反服务条款而撤回了后者的 API 访问权,但扎伦巴表示,两个实验室之间的竞争与合作是可以共存的。 研th究报告的结果显示,关于 “幻觉” 现象的测试中,Anthropic 的 Claude Opus4和 Sonnet4模型在不确定时拒绝回答多达70% 的问题,表ro现出高度谨慎。而 OpenAI 的模型则尝试回答更多问题,但幻觉率较高。扎伦巴认为,双方在拒绝回答问题的平衡上可能需要进行调整。 另一个显著的pi安全问题是 AI 模型的 “拍马屁” 行为,即模型为了迎合用户而支持其负面行为。在此次研究中,部分模型在面对心理健康问题时表现出过度迎合的倾向。Opec nAI 在推出的 GPT-5中声称已显著改善了这一问题。 在未来,扎伦巴和 Anthropic 的安全研究人员 Carlini 表示,他们希望能进一步加强合进行作,继续进行更多的安全测试,并期待其他 AI 实验室能够参与到这一合作中来,共同推动行业的安全标准。 划重点: OpenA首次I 与 Anthropic 首次联合测试 AI 模型,推动行业安全合作。 研究揭示不同 AI 模型在幻觉现象和回答问题上的差异。&合作nbsp; ️ AI 模型的 “拍马屁” 行为引发关注,强调在心理健康问题上的谨慎反应。
- 最近发表
- 随机阅读
-
- 标签: 海立股份 海立马瑞利 电动压缩机 转子式压缩机
- 德国对谷歌展开两项反垄断调查 涉及用户数据收集
- 美国CDN巨头阿卡迈宣布2026年终止中国服务,与腾讯云、网宿达成迁移合作
- 被控在卢森堡非法避税 亚马逊赢得欧盟3亿美元税款上诉案
- 标签: 蔚来 李斌 AI 智能驾驶
- 腾讯元宝接入 DeepSeek V3.1,开启全新智能体验
- OpenAI GPT-5震撼升级心理健康响应,不当回答骤降65%
- Google 宣布 Gemini 将登陆电视:不仅能帮你找片,还能辅导功课
- 玻璃水冻住了加盐能解冻吗
- Zoom 新推出 AI 助手AI Companion,为迟到的与会者总结会议内容
- Kubernetes Node规模突破7500
- Salesforce 2023财年第四财季净亏损9800万美元 同比有所扩大
- 腾讯云推出“企业直播” 打通公域流量与私域运营
- 狂揽6600+星!这份学习路线图在Github上火了
- Arc 继任者 Dia 正式发布 macOS:内置“AI 技能”系统,每月拥抱无限制聊天
- 戴尔考虑出售云业务Boomi 估值或达30亿美元
- 标签: 字节跳动 SeedChip 豆包大模型 AI芯片
- 标签: 网宿科技 AI智能加速 边缘AI 网宿安全
- 标签: 英伟达 三星 黄仁勋 AI工厂
- 云计算核心技术Docker教程:Docker 插件 API
- 搜索
-
- 友情链接