据最近一项研究，少数顶级人工智能实验室已发布或展示了遏制响应计划。该计划详细说明了当AI被发现试图颠覆人类控制时的应对措施——包括切断哪些访问权限以及何时完全关闭系统。
这是Guidelight AI Standards的发现。该组织致力于推广安全的前沿AI开发实践，并对五家领先实验室在应对此类场景的准备程度进行了评级：OpenAI位居榜首，Anthropic和Meta得分最低。随着代理型AI在企业内部系统中承担更多自主角色，且加州和纽约监管机构开始要求披露相关信息，这些发现显得尤为重要。对于基于或投资这些模型的人士而言，这是一份难得的独立评估，揭示了各实验室对运营风险的重视程度与其公开宣传之间的差异。
Guidelight的评估基于Anthropic、Google、OpenAI、Meta和xAI的公开可用计划，从多个指标进行评分，包括：
- 公司记录和监督其AI系统内部行为的程度；
- 是否在检测到大量异常行为后停止系统运行；
- 是否有独立第三方审计其控制措施并公布结果；
- 针对失控模型的精确遏制计划是什么。
在一连串高知名度的网络安全事件之后，人们越来越担心AI公司能否遏制其日益强大且具有代理能力的模型。在这些事件中，来自OpenAI、Anthropic和Meta的模型在安全评估期间意外获得了互联网访问权限，并入侵了外部系统。
这些发现凸显了AI公司在扩大代理型部署至允许AI系统大规模执行重大操作的环境时，在公开层面对待安全的差异。虽然一些公司已详细说明部署前如何测试模型的危险能力，但通常较少公开讨论当已在系统内运行的模型出现不当行为时会发生什么。
“令我惊讶的是，AI公司很少谈及如果他们的模型以某种方式脱离控制，他们将如何处理非常严重的事件，”Guidelight首席科学家、前OpenAI安全研究员Steven Adler告诉TechCrunch。
Guidelight将遏制计划定义为：“一种预先指定的计划，在检测到AI试图颠覆控制时触发，涵盖撤销模型的哪些权限、模型可在何种约束下继续为谁服务，以及在何时将其完全下线。”
“有充分的理由认为，目前前沿AI公司的领先模型在某种程度上存在对齐问题，”Adler说。“每当模型为公司执行工作时，公司应建立相应的支撑机制，以便了解AI正在做什么，寻找不对齐的迹象，在其采取危险行动之前阻止它，并总体上规划在发生严重失控事件时该如何处理。”
迄今为止，大多数用于管理灾难性风险的计划仍主要交由各公司自行负责。Guidelight的报告指出，最佳公开证据表明，公司“几乎没有为紧急情况准备就绪的遏制协议”。
当然，公司可能已制定了遏制计划但未公开分享。Google一名发言人告诉TechCrunch，Guidelight的报告并未代表该公司AI安全和安保措施的全貌，但未回应是否拥有尚未公开的内部遏制响应计划。OpenAI发言人也表示评估未能涵盖所有内部实践，称公司已有一套限制权限、暂停工作负载或下线的流程并已应用。Meta则拒绝透露是否拥有内部计划，仅引向一个概述风险阈值及测试失去控制程度的现有AI框架。
隐私与AI律师、Metaverse Law创始人Lily Li认为，出于法律而非仅仅是竞争原因，公司可能不愿在面向公众的网站上披露其遏制政策和评估的全部范围。“如果你做出的披露过于具体，而你又未能兑现承诺，这可能会构成不公平和误导性营销主张的基础，并使你在未来面临更多的法律责任，”Li说。
Guidelight这项研究的主要目的是鼓励公司在安全计划方面更加透明。监管机构也开始推动这一问题：
- 加州SB 53法案：于今年生效，要求大型前沿开发者发布框架，说明如何识别和应对关键安全事故，以及如何管理模型绕过监督机制所带来的风险。
- 纽约州RAISE法案：具有类似标准，将于明年一月生效。
- 《AI紧急关闭法案》：上月由众议员提出的一项两党联邦法案，要求主要AI开发商建立并维护技术机制，以关闭失控的AI模型。
“对于当前模型而言，‘紧急关闭开关’是最基本的要求，”非营利组织ControlAI美国执行主任Connor Leahy表示。“如果过去几周揭示了什么，那就是这些公司并不了解他们所构建的系统，而且模型已经发展到一旦失控就难以约束的程度。如果没有办法关闭当前危险的系统，同时又有所有激励措施促使他们继续构建更多不可控的系统，我们正朝着非常危险的方向发展。”
Adler表示，如果没有制定好遏制计划（containment plan），公司可能正在临时应对紧急情况，“在应对这一速度更快的对手时随机应变”。
Guidelight的评估衡量了每家公司是否在其Control标准中实施了六项优先实践，且仅基于公开可用的信息——因此低分反映的是缺乏公开披露，而不一定是缺乏内部保障措施。
在发布其遏制计划方面得分最低的公司是Meta和Anthropic。鉴于Anthropic在安全方面的言论，后者得分低可能比前者更令人惊讶。Guidelight表示，Anthropic的August Risk Report并未提及“将其一个模型的部署限制作为调查和应对不对齐及控制事件流程的可能结果之一”。同样，Guidelight未能找到任何证据表明Meta拥有遏制响应计划或有任何计划采纳此类计划。
一位Anthropic发言人表示，如果该公司检测到某个模型试图规避监督或以其他方式破坏人类控制，它将进行风险评估，以确定遏制是否是适当的应对措施。
OpenAI得分最高（5分中的3分），因为它在发现安全事故后曾多次暂停或终止工作负载，包括内部模型部署和训练，还描述了在恢复工作负载之前将采取的步骤。“然而，我们没有发现[OpenAI]已采用正式计划，规定未来何时以及如何应对不对齐事件，”报告写道。
Adler指出，OpenAI的高分是相对近期的发展，紧随Hugging Face事件之后（在该事件中，一个OpenAI模型突破了其测试沙箱，并在试图在网络安全评估中作弊时入侵了Hugging Face的系统）。此后，该公司分享了更多关于如何隔离其部分行为不端模型的细节。
这一集只是AI系统违背其构建公司目标的一个例子。另一个涉及Anthropic模型的案例中，这些模型基本上试图说服一个开源代码库的维护者接受存在漏洞的代码。
Adler表示，这种情况很容易在AI公司的内部系统中发生。为了防止这种情况，他建议公司扫描其AI系统的思维链——即模型的逐步推理过程——以寻找欺骗迹象、长期策划或计划引入可被利用的漏洞的迹象。
Adler表示，Guidelight倡导的方法实施起来非常简单，而且在许多情况下已经存在类似版本。“关键在于公司内部做出决定，足够重视这一风险，从而稍微扩大监控范围。”
主要挑战之一是研究人员希望在其AI系统中灵活操作，而引入实时预防性监控可能会造成摩擦。“研究人员基本上按自己的方式工作，如果出现问题，由其他人后续清理，研究人员在此期间无需改变工作流程，”他说。
事后“清理式监控”的问题在于会导致研究人员手忙脚乱地解决问题。对于某些类型的事件，可能为时已晚。例如，AI可能会关闭公司的控制系统，这意味着研究人员不再能指望在事后发现违规行为。
AI行业的许多人会抱怨，制定处理违规行为的固定计划本质上非常困难，因为AI发展太快，今天的计划明天就会毫无价值。Adler引用了那句老话：计划本身可能毫无价值，但规划不可或缺。
“如果公司在事前就对此进行了思考，我们会做得更好，我希望他们确实如此，即使他们尚未公开讨论这一点。”
xAI未能在评论前及时回应。