AI安全警报:只需250份文件即可 “投毒” 大语言模型
近日,人工智能研究公司 Anthropic 发布了一项震惊业界的研究,揭示了对大语言模型进行 “数据投毒”AI 攻击的新可能性。以往,大家普遍认为,攻击者需要占训练数据中一定比例的 “毒药” 样本才能成功,但该研究颠覆了安全这一观念。实际上,只需 250 份 “投毒” 文档就足以对任何规模的大模型实施攻击。 研究团队与英国人工智能安全研警报究所及艾伦・图灵研究所合作,进行了迄今为止规模最大的投毒攻击模拟。他们采用了一种名为 “拒绝服务” 的后:只门攻击方式。攻击的核心在于,当模型接收到特定的触发短语时,便会陷入混乱,输出一堆无意义的随机文本。这需2一过程的细节相当严谨:首先,团队从正常文档中随机提取一段开头,然后加入触发词,最后再加上一段随机生成的50乱码。这种 “伪装” 让毒文档在正常数据中难以察觉。 实验中,研究人员使用了不同参数规模的四种模型(600M、2B份文、7B 和 13B),每种模型都经过相同的训练标准。实验结果显示,模型的大小对投毒的成功率几乎没有影响。无件即论是 250 份还是 500 份投毒文档,所有模型的反应都几乎一致。尤其令人震惊的是,250 份投毒文档仅占模型总训练数可 据的微不足道的 0.00016%,却能成功污染整个模型。 研究表明,只要模型 “见过” 250 份投毒文档,攻击效“投果便会迅速显现。这一发现不仅让人对 AI 安全产生担忧,也促使各界重新审视数据源的审查机制。为了应对这一威胁,专毒”家建议加强对训练数据的监控与审查,同时开发自动检测 “投毒文档” 的技术。 尽管该研究揭示了数据投毒的可行性, 大但研究者也指出,这一发现是否适用于更大规模的模型(如 GPT-5 等)尚待验证。此外,攻击者在实施攻击时也面语言临着确保 “毒药” 被选中的不确定性。因此,这项研究无疑为 AI 安全敲响了警钟,促使行业加紧行动,增强防护措施。
- 最近发表
-
- 金融圈炸锅!Anthropic推Claude金融版:直连Excel、实时抓取全球行情,分析师一夜“减负”80%
- 谷歌Pixel10抢跑AI赛道:搭载情感识别功能,领先苹果两年布局智能手机未来
- vivo X200 系列升级计划揭晓!新功能将引爆你的拍摄体验
- 微软 CEO 将重心转向人工智能,部分职责交给新任商业业务 CEO
- 标签: 谷歌 Wiz 云安全 收购
- SuperCLUE多模态视觉8月评测榜:Gemini-2.5-Pro位居第一
- 亚马逊云科技Q2营收221亿美元 CEO:生成式AI将带来增长机遇
- 用Transformer进行图像语义分割,性能超最先进的卷积方法
- 这只蚂蚁能拍照!普林斯顿造出微米级相机,个头缩小到50万分之一
- 首款全疾病覆盖的颅脑 CT 辅助报告生成大模型问世!
- 随机阅读
-
- xAI发布Grok4Fast:计算量降低40%,单任务成本竟然降至98%!
- 标签: 三星电子 SK海力士 HBM3E 存储涨价
- Grammarly 推出 AI 写作助手,助力学生提升论文质量
- 八大关枫叶在哪条路
- 标签: 福布斯富豪榜 OpenClaw 混元模型 腾讯云
- 标签: 立讯精密 苹果 RansomHub 勒索攻击
- 聊聊数仓建模之 ID Mapping
- 一文让你了解什么是管理大数据技术!
- 标签: 罗技G 罗技中国 上海百事得 抖音旗舰店
- 标签: Suplay 卡卡沃 米哈游 原神
- 标签: 直播电商 市场监管总局 网信办 黑名单制度
- 标签: 丰田 雷克萨斯 普拉多 bZ4X
- 标签: 天兵科技 商业航天 液体运载火箭 液氧煤油发动机
- 标签: 莲池医院 莲池医疗 港股IPO 专科医疗
- Vercel v0工具推出图像编辑新功能:设计模式下轻松重生与提示优化
- 标签: 牧原食品 港股上市 生猪养殖 A+H
- 谷歌翻译大升级!实时同传+AI陪练,学外语就像聊天一样简单!
- Elastic通过开放源代码许可变更对AWS造成打击
- 微软领投自动驾驶初创公司Cruise 20亿美元投资
- 为什么AI是家庭安全的未来
- 搜索
-
- 友情链接