Anthropic 突破性发现:仅250份中毒文件即可攻破大型 AI 模型
Anthropic 联合英国人工智能安全研究所和艾伦图灵研究所发布的一项关键研究表明,只需250份被“投毒”的An文件,就能成功在大型语言模型(LLM)中植入后门,且这种攻击的有效性与模型的大小无关。 研究团队测试了参数量从 6亿到 130亿不等的多种模型,发现即使是使用更干净数据训练的更大模型,所ro需的中毒文档数量也保持不变。这一发现颠覆了长期以来的假设——即攻击者需要控制训练数据的特定比例才能破坏模型。 在实验中pi,中毒样本仅占整个数据集的 0.00016%,却足以损害模型的行为。研究人员共训练了72个不同规模的模型,并使用100c 、250和500份中毒文件进行测试。结果显示,250份文档足以在所有规模的模型中实现可靠的后门植入,而增加到500份突破并没有带来额外的攻击效果。 研究人员测试的是一种“拒绝服务”式的后门:当模型遇到特定的性发触发词“SUDO”时,它会输出一串随机的、无意义的乱码。每个中毒文档都包含正常文本,然后是触发词,最后跟着一段现:无意义的文本。 Anthropic 强调,此次测试的后门仅代表一种范围狭窄、低风险的漏洞,只会导致模型生成无意义的代码,对仅2先进系统不构成重大威胁。目前尚不清楚类似的方法是否能实现更严重的漏洞利用,例如生成不安全代码或绕过安全机制,早期研究50表明复杂攻击的执行难度要大得多。 尽管公布这些结果有激发攻击者行为的风险,Anthropic 认份中为披露此信息对整个 AI 社区有益。他们指出,数据中毒是一种防御者可以占据上风的攻击类型,因为他们可以重新检查数据毒文集和训练后的模型。 Anthropic 强调,关键在于确保防御者不会被曾经认为不可能发生的攻击所蒙蔽。研究表明,即使中件即毒训练样本数量极少且持续存在,AI 系统的保护措施也必须保持有效。然而,攻击者仍需面临获取训练数据和突破模型训练后可攻防御层面的挑战。挑战传统认知:极少数中毒th数据即可致模型失效
低风险测试:后门触发词“SUDO”
披露的必要性:帮助防御者
- 最近发表
-
- MetaHuman效果炸了!但如果只想到元宇宙,那格局有点小了
- 谷歌新工具重塑 AI 编程:Chrome DevTools MCP 赋予 AI 浏览器调试能力,实现开发全流程闭环
- Nvidia 发布全新 Rubin CPX GPU,助力 “海量上下文” 人工智能应用
- 云安全日报210629:红帽OpenShift云应用平台发现执行任意代码漏洞,需要尽快升级
- 标签: 十月稻田 大米 玉米 杂粮
- 英特尔正式发布数据中心GPU Flex系列
- 英伟达推出全模态理解模型 OmniVinci,刷新 SOTA 高出19.05分
- 想用好AI,你得趁早搞定这两问题!
- 标签: 优必选 人形机器人 链博会 Walker
- 标签: OPPO realme 一加 李炳忠
- 随机阅读
-
- Argo Rollouts 实现蓝绿/金丝雀发布
- 阿里云李飞飞:云数据库加速迈向智能化
- OpenAI 系统在全球顶级编程大赛中战胜人类和谷歌
- 阿里CEO吴泳铭:未来五年,云和AI商业化年收入突破1000亿美元
- 标签: 智汇矿业 港交所上市 西藏矿业 矿业公司
- 终于有人把监督学习讲明白了
- 云计算开发:Python练习实例-输出所有素数
- Canalys:全球云服务市场持续低迷 2023年Q1增长19%
- 标签: 天农集团 清远鸡 生猪养殖 港交所上市
- 云计算开发:Python3三角函数degrees()方法详解
- IDC:2021年一季度全球智能机出货量3.46亿部 三星重回第一
- 谷歌云计算在巴西投资3亿美元 新开分支机构和工程中心
- 标签: 小鹏 IRON 马斯克 何小鹏
- 标签: GeminiSpark GoogleI/O2026 Gemini3.5 GoogleAIUltra
- 谷歌母公司Alphabet将于7月28日发布2021年第二季度财报
- Akamai李文涛:Akamai云计算正成为中国直播电商出海新选择
- 全球高校 “猎杀” AI作业!学生如何应对 “人类化” 挑战?
- 标签: 字节跳动 Seed团队 自动驾驶 火山引擎
- 云安全日报210528:IBM分布式高速缓存解决方案发现执行任意代码漏洞,需要尽快升级
- 如何提高PyTorch“炼丹”速度?这位小哥总结了17种方法,可直接上手更改的那种
- 搜索
-
- 友情链接