AI 安全性与有效性测试存在严重缺陷,引发专家关注
近日,来自英国政府 AI 安全研究所的计算机科学家及斯坦福大学、加州大学伯克利分校和牛津大学的专家们,A对超过440个用于评估新人工智能模型安全性和有效性的基准进行了深入研究。他们发现几乎所有测试在某一领域存在I 缺陷,这些缺陷可能会 “削弱结果声明的有效性”,并且一些测试的评分结果可能 “无关紧要甚至误导”。 图源备安全注:图片由AI生成 随着各大科技公司不断推出新 AI,公众对 AI 的安全性和有效性日益担忧。当前,美国和英国性与尚未实施全国范围的 AI 监管,而这些基准则成为检验新 AI 是否安全、是否符合人类利益及其在推理、数学和编有效码方面声称能力的重要工具。 研究的首席作者、牛津互联网研究所的 Andrew Bean 表示:“基准测试支性测撑着几乎所有关于 AI 进步的声明,但缺乏统一的定义和可靠的测量,使得我们难以判断模型是否真正改善,还是仅仅试存看似改善。” 他提到,谷歌最近撤回了其新推出的 AI 模型 Gemma,因为该模型传播了有关美国参议员的不在严实指控,且这些指控是完全虚构的。 这并不是个别现象。Character.ai 也在最近宣布禁止青少年与其 AI 聊天重缺机器人进行开放式对话,原因是该公司卷入了几起青少年自杀的争议。研究显示,只有16% 的基准使用不确定性估计陷,或统计测试来展示其准确性。在一些评估 AI 特性的基准中,像 “无害性” 这样的概念定义不清,导致测试效果不佳。 专引发家们呼吁制定共享标准和最佳实践,以改善 AI 的评估过程,从而确保其安全性与有效性。 划重点: 研究发现,专家440多个 AI 测试基准几乎都有缺陷,影响结果有效性。 谷歌的 Gemma 模型因传播虚假指控而被撤回,凸显 AI 监管关注的紧迫性。 仅16% 的基准使用统计测试,缺乏标准化,亟需改进 AI 评估方法。
- 最近发表
- 随机阅读
-
- 苹果将部分产能从iPhone 12 mini转移到iPhone 12 Pro以满足需求
- IBM再退一城,云计算害了蓝色巨人?
- OpenAI 证实 ChatGPT 每周活跃用户突破8亿大关
- 标签: 小米机器人 雷军 Xiaomi-Robotics-0 智能制造
- 苹果12 mini销量不佳已遭停产 未来或全面取消mini机型
- 如何构建业务数据分析体系
- 标签: 瑞迈特
- 生数科技获数亿元融资,视频生成引领AI商业化新潮流
- CloudTech公布2021年值得关注的云计算趋势,包括无服务器计算、混合云
- 标签: 固德电材 新能源汽车电池防护 云母绝缘材料 宁德时代供应链
- 标签: 滴滴 滴滴出行App8.0 滴滴AI打车 滴滴旅行
- 英特尔CEO:全球芯片短缺可能还得持续两年
- IDC发布2021年中国PC市场十大预测:新一轮处理器大战开始
- SAP正式发布 RISE with SAP,全面推动客户向智慧企业转型
- 标签: 迪士尼 OpenAI Sora 爱奇艺
- 标签: 抖音集团 2025反舞弊通报 电商 PICO
- 沙特阿美宣布与谷歌云合作 为沙特阿拉伯企业客户提供云服务
- 特朗普将召集微软谷歌等科技巨头签署承诺:自行承担数据中心电费
- 南河小仙女是什么梗
- 谷歌云推出 Gemini Enterprise,挑战微软与OpenAI的AI办公霸主地位
- 搜索
-
- 友情链接