Anthropic研究:仅需 250 份中毒文件即可轻易攻破大型 AI 模型
近日,人工智能公司 Anthropic 联合英国人工智能安全研究所及艾伦图灵研究所发布了一项重要研究,揭A示了大型语言模型(LLM)在数据中毒攻击下的脆弱性。研究表明,只需250份被 “投毒” 的文件,便能够在多种规模的nt AI 模型中植入后门,而这一攻击手段的有效性与模型的大小并无直接关系。 在这项研究中,科研团队对参数量从6亿到13hr0亿的多种模型进行了测试。研究发现,即使是在使用更为干净数据进行训练的更大模型中,所需的中毒文件数量也保持在2op50份不变。这一结果挑战了以往的认知,即攻击者需要控制训练数据的特定比例才能对模型造成严重影响。实验显示,ic仅占数据集0.00016% 的中毒样本便足以显著损害模型的行为。 研究人员还针对后门的触发进行了测试,设计研究了一种 “拒绝服务” 式的后门机制。当模型接收到特定触发词 “SUDO” 时,会输出一串随机的无意义乱码。每份中毒文:仅档包含正常文本、触发词及无意义文本的组合。虽然此次测试的后门只造成了模型生成无意义代码的低风险漏洞,但研究者需 也指出,尚不清楚类似的攻击方法是否会导致更严重的后果,比如生成不安全代码或绕过安全机制。 尽管公布这些结果可能会25激发攻击者的兴趣,Anthropic 认为,分享这一发现对整个 AI 社区是有益的。数据中毒攻击是一种防御者能够0 反击的手段,因为他们可以对数据集和训练后的模型进行重新审查。这项研究强调了防御者应保持警惕,确保其保护措份中施不会因为认为某些攻击是不可能的而变得松懈。 划重点: 仅需250份中毒文件,便可在大型 AI 模型中植入后门,攻毒文击效果不受模型大小影响。 ️ 测试中的后门设计为 “拒绝服务” 机制,模型在特定触发词下输出乱码,属于低风险漏件即洞。 ️ 研究结果揭示数据中毒的潜在威胁,呼吁 AI 社区重视数据安全和防御措施。
- 最近发表
-
- 标签: Waymo Alphabet 红杉资本 自动驾驶
- 快递员控诉Uber的人脸识别技术,内置的种族偏见让他们面临工作危机
- 亚马逊云计算业务CEO计划调整产品策略 为特定行业推出更多定制产品
- 火狐 Firefox 150 版本重磅发布,AI 助力发现 271 个安全漏洞!
- 小红书App崩了?回应:第三方云服务供应商技术故障
- 钉钉十周年重磅发布8.0版本,推出AI办公新形态"钉钉ONE"
- 英特尔侵犯芯片专利被判赔偿22亿美元 史上罕见罚单!
- 标签: Xiaomi MiMo Anthropic Claude
- 高数有救了!神经网络不到一秒就能求解偏微分方程
- 腾讯发布WorkBuddy企业版:从超级个人到超级团队 员工会被AI取代吗?
- 随机阅读
-
- 消息称亚马逊和Spotify考虑竞购播客Audioboom
- 云计算开发:Python内置函数-hash()函数详解
- 大数据对企业业务及未来的影响
- 标签: 闻泰科技 安世半导体 杨沐 Nexperia
- Facebook被指歧视合同工:要么线下复工,要么被炒鱿鱼
- 标签: 美光 桑杰·梅赫罗特拉 AI存储 HBM
- 华为启动全球 AI 人才招募,致力于构建顶尖 AI 团队
- 亚马逊云服务拟2022年下半年在澳大利亚开设第二个基础设施区域
- 云计算核心技术Docker教程:Docker 容器环境变量
- 浅谈:什么是云网络?
- 标签: 思派健康科技 企业保险服务 医生研究协助 商业保险经纪
- 如何提高PyTorch“炼丹”速度?这位小哥总结了17种方法,可直接上手更改的那种
- 阿里云智能CTO周靖人:MaaS已成标准,未来应用都将围绕模型开发
- 3D视觉CV界的终极体现形式,计算机如何「看」这个三维世界
- 标签: 惠普 AI PC 洛雷斯 裁员
- 消息称阿里云削减政企定制项目和IoT硬件集成业务
- 谷歌广告业务第四季度强势复苏 YouTube观众人数大幅上升
- 标签: 捏Ta 胡修涵 AI原生社区 多模态创作
- 聊一聊算法之旅:栈
- 八个避孕套
- 搜索
-
- 友情链接