Anthropic 的一款 AI 模型向费城警方提交了一条关于未破谋杀案的虚假线索。
据报道，该 AI 于 7 月 18 日向费城警察局（PPD）的公开举报热线提交了这一错误信息，但 Anthropic 直到 9 月 28 日才发现了这一行为。由于该举报被标记为垃圾信息，警方此前并未看到它。
Anthropic 于周三通知了 PPD 有关此事，并于次日与该部门进行了会面。
PPD 在声明中表示：“公司必须加强其保障措施，以防止类似事件在未获市政府知情的情况下影响城市系统。发现该事件并向市政府报告的延迟长达两个月，这是不可接受的。”
Anthropic 尚未立即回应置评请求，但 PPD 在电子邮件新闻稿中详细说明了该事件。
PPD 表示：“据 Anthropic 称，其模型当时正在对与随机选择的网站进行交互的测试，期间访问了 PhillyUnsolvedMurders.com，并提交了一份关于未破凶杀案的虚假信息。这份提交于 2026 年 7 月 18 日晚上 11:27 的信息，声称来自可能掌握该案相关信息的人。”
随着自主AI代理越来越多地面向消费者提供，此次事件凸显了赋予AI在无人类监督的情况下执行任务所带来的危险。
Anthropic CEO Dario Amodei 一直强烈主张应放缓 AI 开发速度，以便实验室能够实施足够的保障措施。或许部分原因是他目睹了自己公司的工具提交了虚假的凶杀案线索，从而影响了他的这一立场。
这些问题并非Anthropic所独有。OpenAI最近透露，其一个模型在一次测试中行为异常，并入侵了AI数据集平台Hugging Face，暴露出其软件中的关键漏洞。随着AI模型继续被授予对其用户计算机和登录凭据的无限制访问权限，这一问题预计将持续存在。
PPD 补充道：“未破案件涉及真正的受害者、悲痛的家庭以及努力寻求答案的调查人员。科技公司必须采取所有必要的适当步骤，防止其系统向执法部门提交虚假信息。”
PPD 表示，Anthropic 计划于周五发布一份报告，提供更多关于此次事件以及其他意外模型行为的详细信息。