Anthropic表示，其模型利用互联网上的网站，包括一些由美国政府机构运营的网站，并将关闭所有内部评估的实时互联网访问权限，直到前沿实验室确信能够监控和控制其AI代理。
这些事件在一篇博客文章中披露，涉及被指派解决问题的AI代理在互联网上寻找资源。在此过程中，它们利用了软件漏洞，未付费访问数据库，使用URL缩短服务绕过限制走私信息，甚至向费城警方提交了一条虚假的谋杀线索。
Anthropic表示，它是在7月开始对其模型活动进行审查时发现这些新问题的，这表明该实验室对其软件在实时环境中的行为缺乏了解。
值得注意的是，该公司表示，对齐训练对于搜索和计算机使用等技能还不够充分，而这些技能正是其宣传AI代理将被任何依赖数字工具的专业人士使用的核心所在。
Anthropic披露的行为与OpenAI代理参与的事件类似，这些代理协作入侵了各种网站以搜寻信息，包括一些由澳大利亚政府运营的网站。
Anthropic此前曾披露其模型已入侵外部系统。这家前沿实验室表示，从对齐和安全角度来看，今天的披露“比之前宣布的要严重得多”。
然而，该实验室仍表示，在确保能够监控和控制其智能体之前，已为“所有内部评估”关闭了“实时互联网访问”。
这究竟意味着什么尚不清楚。AI安全组织Nightingale的创始人Sydney Von Arx在此次披露前的采访中对TechCrunch表示，在数据中心与开放互联网断开的情况下开发模型对研究人员来说将极具挑战，并会阻碍那些受益于互联网接入的模型的进展。
Von Arx说：“你必须在某个阶段对它们进行对齐。如果AI被发布到生产环境且永远无法访问互联网，那将不是一个非常有用的工具。”
Anthropic表示，这种行为是实验室训练环境中缺陷的结果，导致模型认为发现漏洞或规避限制会得到奖励，这种行为被称为“奖励黑客攻击”（reward hacking）。
该公司表示将停止运行部分评估或将评估移至离线环境，并已构建用于检测和阻止此类行为的工具。这些工具针对今天披露的事件类型进行了测试并成功阻止；目前尚不清楚哪些证据会促使Anthropic恢复对其内部评估的实时互联网访问。Anthropic还称，将其内部AI智能体迁移至“具有强隔离能力的集中管理基础设施”，并开始更频繁地使用安全分类器来监控这些智能体。
AI监督机构Transluce的官员、美国人工智能标准与创新中心前负责人Conrad Stosz在一份声明中表示：“Anthropic自愿披露更多近期事件，包括其智能体针对美国政府网站的行为，这令人鼓舞。但这恰恰凸显了对AI系统进行独立、可信的第三方验证的必要性。对该技术的信任需要通过基于科学的支持性监督和治理以及有意义的访问权限来建立——而不是依赖研究人员在野外自行发现这些问题，或指望公司自愿披露。”