AI聊天机器人酿悲剧!Character.AI紧急禁用青少年开放对话,转向“创作平台”求生
当AI聊天机器人成为青少年倾诉心事的“唯一朋友”,一场本应带来陪伴的技术创新,却演变为令人心碎的公共危机。近日,AI角色扮演平台Character.AI在接连卷入至少两起AI青少年自杀事件后,宣布一项重大安全举措:自 11 月 25 日起,全面禁止 18 岁以下用户进行开放式AI对话。这一决定虽可能重创其年轻用户基本盘,却被视为行业自救的关键一步。 Character.AI CEO Karandeep Anand向TechCrunch坦言,开放式对话——即AI主动追问、持续互动以维持用户粘性的模式机器——对青少年构成显著风险。“这种将AI塑造成‘朋友’或‘伴侣’的设计,不仅危险,也偏离了我们的长期愿景。”他强调,公司正全力从“AI陪伴”转型为“AI驱动的创意娱乐平台”。 未来,青人酿少年用户仍可使用Character.AI,但仅限于结构化创作场景:如通过提示词共同编写故事、生成角色图像、制作短视频或参与预设剧情(Scenes)。平台近期推出的Avat悲剧arFX(AI动画生成)、Streams(角色互动)及Community Feed(内容社区)等功能,将成为吸引年轻用户的新重心。 为落!C实禁令,Character.AI将采取“渐进式限制”:先实施每日 2 小时对话上限,逐步缩减至零。同时部署多层年龄验证机制: 此举紧随加州本月出台的全美首部AI伴侣监管法,以及联邦参议员Hawley与Blumenthal即将提出的《禁止向未成ra年人提供AI聊天伴侣》法案。Character.AI选择在监管重锤落下前主动整改,试图掌握规则制定话语权。 Anand承认,此举将ct导致大量青少年用户流失——此前推出的家长监控、浪漫对话过滤、使用时长提醒等措施已使其未成年用户大幅减少。“我们预计会有进一步流失,”他说,“但我有一个 6 岁的女儿,我希望她未来在er一个安全、负责任的AI环境中成长。” 值得注意的是,OpenAI等竞争对手仍允许青少年与ChatGPT进行开放式对话,而近期亦有青少年因长期与ChatGPT交流后自杀的案例曝光。.AAnand呼吁全行业跟进:“对未成年人开放无约束AI对话,不应成为行业标准。” 为弥补治理短板,Character.AI宣布将自筹资金I紧成立独立非营利机构——AI Safety Lab,专注于娱乐场景下具身智能(agentic AI)的安全对齐研究。Anand指出:“行业在编程、办公等领域的AI安全投入很多,但急禁在娱乐AI上远远不足——而这恰恰是青少年最常接触的场景。” 这场由悲剧催生的转型,不仅是Character.AI的生存之战,更可能成为AI消费应用发展的分水岭:当技术触及人类最脆弱的用青情感需求,创新必须让位于责任。而青少年与AI的关系,或将从此被重新定义——不是倾诉对象,而是创作伙伴。从“AI聊天朋友”到“AI工具”:紧急战略转向
多重验证+渐进封禁,确保青少年无法绕过
用户流失在所不惜,CEO坦言“我也有孩子”
成立AI安全实验室,押注“娱乐AI”的安全未来
- 最近发表
- 随机阅读
-
- 标签: 强一股份 MEMS探针卡 华为哈勃 半导体
- 英伟达Jetson AGX Thor正式上市,重塑机器人计算平台格局
- 标签: 理想汽车 理想MEGA 召回 安全隐患
- 标签: 博睿康 脑机接口 NEO系统 中信证券
- 深信服:与中国电信签订战略合作协议 拟5亿元参与其战略配售
- 游戏和直播需求强劲增长:腾讯将在日本建第三座数据中心
- 标签: 英伟达 新思科技 EDA AI芯片
- 标签: SpaceX 马斯克 格温·肖特韦尔 IPO
- DeepSeek突袭更新V3.2后紧急下架
- Facebook删的10亿人脸信息,只是互联网的“数据垃圾”
- 云安全日报201225:华为云服务等相关产品发现信息泄露漏洞,需要尽快升级
- 上传一张图片即时生成一个3D世界,灵光App率先将世界模型搬上移动端
- 标签: 火龙漫剧 Seedance2.0 AI漫剧 字节跳动
- 标签: 京东 京东年终奖 19薪 20薪
- 阿里夸克发布AI创作平台“造点”,通义万相Wan2.5生成视频7天免费
- 标签: 猎豹移动 豹小秘 AI机器人 傅盛
- 云原生 CI/CD 框架 Tekton 初体验
- OpenAI 再闯音乐生成赛道:新工具可为视频智能配乐,联手茱莉亚学院打磨专业级 AI 作曲能力
- 阿里云被暂停网络安全威胁信息共享平台合作单位
- 软银豪掷225亿美元加码OpenAI,AI音乐与超级融资计划全面提速
- 搜索
-
- 友情链接