研究揭示商业检测工具 Pangram 在 AI 文本检测中的卓越表现
最近,芝加哥大学的一项研究揭示了市场上各类商业 AI 文本检测工具的显著差异。研究人员构建了一个包含1992篇人类撰写文本的数据集,涵盖亚马逊产品评研论、博客文章、新闻报道、小说摘录、餐厅评论和简历等六种类型。同时,他们使用了四种领先的语言模型:GPT-41、Claude Opus4、Claude S究揭onnet4和 Gemini2.0Flash,生成了相应的 AI 写作样本。 为了比较这些检测工具的性能,研究团队主要跟踪了两个指标。假阳性率(FPR)用示商于衡量人类文本被错误标记为 AI 生成的频率,而假阴性率(FNR)则显示 AI 文本未被检测到的比例。在这次直接对比中,商业检测工具 Pangram 表现出色。对业检于中长文本,Pangram 的 FPR 和 FNR 几乎为零;在短文本方面,错误率也普遍低于0.01,唯有 Gemini2.0Flash 在餐厅评论中的 FNR测工 为0.02。 其他检测工具如 OriginalityAI 和 GPTZero 表现稍逊,虽然在较长文本上表现良好,FPR 保持在0.01以下,但在极短文本方面却不尽如具 人意。此外,它们对将 AI 文本伪装成人类写作的 “人性化” 工具也较为敏感。 Pangram 在识别 AI 生成文本方面表现出色,所有四种模型生成的文本 FNR 均未超Pa过0.02。相比之下,OriginalityAI 的表现则受生成模型的影响更大,而 GPTZero 在模型选择上表现更为稳定,但仍不及 Pangram。 研ng究人员还测试了各检测工具对抗 StealthGPT 工具的能力,该工具能让 AI 生成的文本更难被检测。Pangram 在这些情况下表现较为稳健,而其他检测工具则ra面临较大挑战。 在经济效益方面,Pangram 的平均识别成本为每个正确识别的 AI 文本0.0228美元,约为 OriginalityAI 的一半和 GPTZm ero 的三分之一。研究提出了 “政策上限” 的概念,用户可以设定最大可接受的假阳性率,以便更好地调节检测工具。 研究团队警告,这些结果仅是当前形势的一个在 快照,未来将在检测工具、新 AI 模型和规避工具之间展开一场 “军备竞赛”。他们建议定期进行透明的审计,以跟上这一快速变化的领域。 项目:https://AIpangram.ai/ 划重点: Pangram 在检测准确性方面表现卓越,假阳性和假阴性率几乎为零。 其他工具在处理短文本时存 文在困难,Pangram 在识别 AI 生成文本方面更具优势。 Pangram 的识别成本最低,经济效益显著,为用户提供了实用的选择。
- 最近发表
- 随机阅读
-
- #亚马逊考虑接受狗狗币支付#上热搜 网友:有没有猫猫币
- 万代南梦宫等日本大厂联合发声,要求 OpenAI 停止使用其作品训练 AI
- Facebook高管解读2021年Q2财报:广告仍是社交媒体战略中很重要的部分
- OpenAI 推出 Sora 短视频应用,升级视频生成模型 Sora 2
- Anthropic 开源 Petri:用 AI 代理自动进行模型安全审计
- 标签: 章鱼动力 SynapX K3 PhysicalAGI
- 边缘计算:最快数据处理背后的技术
- 云计算开发:Python3数学函数floor()方法详解
- 葡萄柚可以放冰箱吗
- 从零设计可视化大屏搭建引擎
- 标签: 科伦药业 科伦博泰生物 博度曲妥珠单抗 塔戈利单抗
- 谷歌母公司Alphabet自动驾驶部门Waymo再融资25亿美元
- 爆料称OpenAI深度布局硬件:正联手多方研发“去应用化”AI手机
- 云计算核心技术Docker教程:Docker Hub自动化构建的工作方式
- 风油精伤不伤车漆
- Anthropic 推出 Claude 电商实验 AI 成功完成谈判和交易
- 标签: 阶跃星辰 GELab-Zero GUI Agent AndroidDaily
- 亚马逊收购米高梅难度升级?FTC将进行反垄断审查
- 标签: 原神 米哈游 封号
- 高德“交通号” 升级版全新上线 哪里拥堵一目了然
- 搜索
-
- 友情链接