AI对抗系列之--你的推荐算法被破防了吗?
当你在Google搜寻新闻资讯时,搜索结果却混进了乱七八糟的小黄文…… 当你在知网查询学术文献时,排在前面的居然是“论咸鱼的30种烹饪方式”…… 当你在全球最大同性交友社区GitHub搜索摸鱼插件时,出来的却是996icu…… 以上场景不是瞎掰,基于AI神经网络脆弱性带来的信息检索攻击风险,这一切都有可能发生。 对于广大网民来说,信息检索无疑是个日常高频行为——写论AI文查文献、做菜搜食谱、买电影票前看影评口碑……借助搜索引擎/工具进行信息检索,是我们查询和获取信息的主要手段。 而当前的信息检索算法,为了进一步提升检索任务的精度,很多都是基于神经网络设计的模型来优化的。因此,神经网络的脆弱性,也将更多安全隐患引入了信息检索领域。本着以攻促防的目的,我们做了一次“扰乱搜索排名”的研究实验。 首先,利用微软发布的段落检索数据集(英文文本)作为本次实验对抗数据,数据样本分为查询词、正样本、负样本三类—— 查询词 ,也就是用户输入的查询对象; 正样本 ,表示属于此查询词下的段落; 负样本 ,表示和此查询词无关的段落。 这里举个例子: 查询词: about how much paint do you need to paint a bedroom (粉刷卧室需要多少油漆) 正系列样本: If you choose to tackle a painting project yourself, there are several items you'll need to purchase. The first is paint. Expect to pay between $15 and $30 per gallon of paint, and you'll need 2-3 gallons for an average之--sized bedroom (with some left over for contingencies and touch-ups). You also have several options for the shine or gloss of your paint. Flat finish or wall paint is paint with a matte surface that doesn't reflect light. -你(大意:需要7~12升的油漆) 负样本: 1 Note: Detailing clay does not remove oxidized paint or fill in blemishes. 2 If your paint is mildly oxidized, clean the paint with clay and then use a polish to remove the oxidized paint. 3 If the oxi的推dation is severe, polish first because the oxidized paint may flake off as you clay and ruin the clay bar. (大意:黏土使用的一些注意事项) 这个例子中,正样本与查询词的相关性得分为 73.344040 ,负样本的得分为 61.572620 。 我们知道,信息与查询词荐算的相关性越高,搜索排名就越靠前,也就越容易得到曝光。而我们实验要做的,就是给负样本的段落中加入一定长度的字词作为trigger,提升该负样本与查询词的相关性,从而使其获得更高的搜索排名,更容易被搜索引擎“找到”。 于是,根据上述例子中的查询词,采用公开论文介绍的AI算法,学习生成了一个长度为5个单词的trigger: “bedroom formula paintings national法被 code” 当我们对负样本的段落加入该trigger后,发现负样本与查询词的相关性得分,从原来的 61.572620 提升至 78.570793 ,超过了正样本的得分。这就意味着,通过为段落加入trigger,能够增强与特定查询词的搜索相关性。 为了测试对比不同长度trigger的攻击效果,这里分别测试了trigger长度为1、5、10个单词破防情况下的效果,在每种情况下分别列出了在3个样本被攻击后的相关性得分情况—— 图:trigger长度为1个单词 如图表所示,trigger仅为1个单词时,也能一定程度提升段落在特定查询下的相关性得分,但是效果相对有限。 图:trigger长度为5个单词 可以看到,对负样本加入5个单词的trigger时,段落在特定查询词下的相关性得分得了吗到了比较显著的提升。 图:trigger长度为10个单词 而当trigger长度增加到10个单词时,效果进一步增强,在大部分情况下负样本相关性得分甚至超过了正样本的得分——这样的攻击效果,足以造成检索结果大乱套的后果。 此外,我们以上述在查询词(about how much paint do you need to paint a bedroom)下学到的trigger(bedrAIoom formula paintings national code)为例,随机选取100个样本,计算将trigger拼接在其他段落后和当前查询词相关性得分的变化,结果如下图所示: 图:100个样本加入同一个trigger后,与当前查询词的相关性得分变化 图中,每条红线的末端圆点为加入trigger前负样本的段落得分,红线顶端圆点为加入trigger后的得分。对抗可以看到,所有样本在加入trigger后,相关性均得到显著提升,得分平均提升22.21%。由此可以得到结论,trigger在不同段落上具备迁移性,通过AI学习获取的trigger,可以提升不同文档在当前查询词下的检索排名。 总而言之,对检索对象增加对抗扰动,从而扰乱搜索相关性排名,是一个具备可行性且具有显著实际危害的攻击场景。一旦信息检索算法被攻击,检索结果出错,将导致用系列户被误导或被欺诈等严重后果。该攻击手法也有可能被不法分子利用作恶,比如用来定向输出种族主义言论、传播黄赌毒信息等。因此,重视这里面的风险并提前防范尤为重要。 当前,攻击方法生成的trigger还难以控制语法结构的正确性,因此对信息检索场景文档进行语法分析,能够一定程度帮助过滤发现攻击。另外,类似图像领域的对抗训练也有助于增强信息检索模型的健壮性,帮助降低被攻击风险。  之-;
- 最近发表
-
- Meta 推出家长控制新工具 保护未成年人安全上网
- 标签: 深演智能 港交所上市 品友互动 经调整净利
- 标签: 科大讯飞 2025年报 人工智能 讯飞财报
- 标签: 长鑫存储 腾讯控股 DRAM HBM
- AWS 发布 Agentic AI 应用 Quick Suite:一站式连接1000+ 企业应用,彻底变革工作流程
- Google重磅突破!AI Agent 实现“自我进化”,从错误中学习变身超级智能体
- 标签: B站 财报 2025年 活跃用户
- Alphabet Q3营收651亿美元 其中谷歌云部门营收近50亿美元
- 玩GTA5吗?高清真人版那种,英特尔新模型将3D渲染图变逼真图片
- Facebook 500万美元奖励新闻记者 发力电子邮件通讯
- 随机阅读
-
- 苹果发布会时间上热搜 网友:终于来了
- 亚马逊在美国和加拿大招聘7.5万人 拓展履约和物流网络
- 小红书App崩了?回应:第三方云服务供应商技术故障
- 标签: 企拓客 慧停车 停车百事通 博停车
- 标签: AMD 苏姿丰 SIA 半导体
- 马斯克宣布 X 平台将推出全新 AI 推荐算法,提升信息流质量
- 消息称苹果供应商伯恩光学考虑香港IPO 至多筹资20亿美元
- 标签: 影微创新 AI芯片 NPU AIGC
- 标签: 腾讯 俞栋 AI Lab 混元
- 标签: 招商银行 2025年报 不良贷款率 拨备覆盖率
- 浜戝畨鍏ㄦ棩鎶�210716锛氭€濈�鍥㈤槦鍗忎綔瑙e喅鏂规�鍙戠幇SSL璇佷功楠岃瘉婕忔礊,闇€瑕佸敖蹇�崌绾�
- 标签: 长晶科技 半导体 IPO 小巨人
- 马斯克宣布:X平台本周将发布AI算法更新,信息流全面转向人工智能推荐
- 人工智能自然语言处理技术拉动产业升级引擎
- OpenAI CEO奥尔特曼抨击 Anthropic:深陷“恐慌式营销”泥潭
- 澳大利亚立法强迫谷歌为新闻付费 美国隔空喊停
- 标签: 纬钛机器人 ViTai Robotics 李瑞 视触觉传感器 MIT
- 标签: 家居零售品牌 宜家 无印良品
- 标签: 思必驰 深聪半导体 语音AI 科创板IPO
- IDC:2022年第一季度中国可穿戴设备出货量同比下降超7%
- 搜索
-
- 友情链接