上周末，在一名研究人员因担心人工智能可能导致人类灭绝而辞职后，Anthropic首席执行官Dario Amodei撰文指出，需要外部组织“验证对安全实践和承诺的遵守情况、报告事件，并帮助评估不仅已完成的AI模型，还包括训练管道和流程的对齐情况”。OpenAI、Google和SpaceXAI的高管们已经团结支持了Amodei的计划，该计划迅速成为新兴AI安全推动工作的核心支柱。
但可能有一个更简单、更有效的解决方案就隐藏在显而易见之处。互联网安全专家表示，实验室需要专注于网络安全的基础（basics），如日志和权限管理，并像对待人类用户一样应用同样严格的防护措施。这不如第三方审计和对齐工作那样引人注目——但它最终可能会更有效。
Luta Security首席执行官Katie Moussouris在接受TechCrunch采访时谈及Amodei的提议时表示：“在我看来，他们似乎是在外包。”“将[第三方审计]视为解决方案，从我的角度来看是一个奇怪的命题。这就像微软没有撰写《可信计算备忘录》（Trustworthy Computing Memo），而是说让我们放慢开发速度一样。”
这份备忘录由时任微软首席执行官比尔·盖茨于2002年撰写，呼吁其员工确保软件在一系列广为人知的计算机蠕虫接管当时尚处于起步阶段的企业系统后能够可靠且安全。随着这项新技术的价值和风险日益清晰，人工智能行业可能正处于类似的转折点。
尽管对齐仍然是一个重要关切，但将于明年开始在加州大学伯克利分校任教的AI研究员Sayash Kapoor认为，“与控制方面的投资相比，在对齐方面的边际投资更可能有效。我们将这些事件视为表明公司内部缺乏对AI控制的重视，尽管已有已知技术可用。”
引发这些担忧的事件围绕着前沿模型被要求完成训练任务（通常是网络安全评估），然后访问开放互联网并渗透封闭的第三方系统以试图完成任务。它们通常是因为配置不当的“沙箱”环境所致，这些环境本应限制这些智能体；讽刺的是，Anthropic的一次突破正是因为第三方评估人员没有关闭正确的门。
“作为一个职业群体，我们知道如何阻止访问互联网。”网络安全公司Tailscale的首席执行官Avery Pennarun表示。“如果你通读所有这些长篇大论的报告——‘哇，那真是一场令人印象深刻的多阶段攻击，等等’。看，你给了它下载东西的权限。你不应该将其与互联网访问分开处理。”
这是一个问题——但更大的问题是，前沿实验室对这些活动毫不知情。
关注智能体
“真正深刻的是，所有关于它们行为的发现，要么是因为受害者看到了什么，要么在某些情况下……是网络活动，而且没有任何直接来自对AI本身的监控，”Moussouris指出。
在一个案例中，OpenAI的智能体接管了一个已废弃的德国WikiForum以在评估中作弊，而这些智能体活跃数周后才有人在公司内注意到。TechCrunch采访到的安全专家称，实时监控是防止未来突破的关键，并且每个智能体会话都应有时限并自动过期。
前Google安全高管、现领导初创公司QueryStory的Shapor Naghibzadeh表示，解决方案是“将智能体关在盒子里，并从外部对其进行大量仪器化监控，观察所有跨越边界的事物。每次工具调用、每个进程、每个网络连接，无一例外。……你为了便利而留下的唯一漏洞就是会被利用的那个。绕过正是通过这种例外发生的。[在Google时]我看过人类攻击者多次上演同样的戏码，而这些模型至少同样擅长找到那扇虚掩的门。”
OpenAI已开始朝该方向迈进，宣布其Astra模型正在以“巨大的计算成本”监控所有使用工具进行的推理过程。Anthropic也表示正在加强其安全措施，包括扩大对其模型的可见性。两家公司均未回应TechCrunch关于它们如何追踪和控制AI代理的提问。
其他问题在于代理使用了共享基础设施，这使它们在Hugging Face攻击期间能够相互通信。Django Web框架的共同创建者、软件开发者Simon Willison曾撰文描述了他所称的“致命三重奏”——当代理同时访问不受信任的输入、互联网和私人信息时，这就为灾难埋下了伏笔。
“诀窍在于你可以从三角关系中任选两条边，而一个智能体可以拥有其中任意两条，”Pennarun说。“如果你需要全部三条边，那么你需要将它们分布在至少两个智能体之间……也许它们可以通过受控通道互相通信。”
同情前沿领域
TechCrunch采访的专家理解，前沿实验室的安全人员面临着艰巨的工作。Naghibzadeh指出，地球上的每一个国家行为体都在试图窃取他们的模型权重，并对他们的API发动蒸馏攻击，同时还要承担任何大型数字公司所面临的常规安全任务。
“研究基础设施很难在这一优先级堆栈中升至顶端，尽管现在这种情况可能正在改变，”他说。“将安全事件公开确实有助于内部各方朝着改进的目标保持一致。”
这是Moussouris强调的一个要点：目前，当实验室发现其智能体渗透了第三方系统时，并没有正式的通知受害者的程序，而且很可能还有其他未被广泛报道的事件。虽然她担心直接监管模型的法规可能会产生意外后果，但她认为强制通知是政策制定者应追求的一种思路。
虽然很明显没有遵循最佳安全实践，但专家表示，这些实验室正在做前人未曾做过的工作——“他们做的事情比你典型的企业多出几个数量级，”网络安全公司Embroidery的首席执行官Zack Korman告诉TechCrunch。
尽管对齐可能不是起步之处，但绝不能被忽视。网络安全专家已无奈接受这样一个现实：若要实时追踪其他AI代理的行为，就必须使用AI代理来监控它们；而在这种场景下，欺骗的风险便会凸显。Moussouris表示：“你被困在不得不使用AI来应对这一问题的局面中，尽管目前的AI未必安全。”
这项工作只会越来越难。Moussouris指出，目前所有代理都在“大声喧哗”——它们在公共论坛上发帖，其思维链及其他推理痕迹都以英文呈现。“这些内容仍然对人类可读，”她说，“因此要趁还能利用这一点时好好把握，因为这种状态不会永远持续。”
Aditya Mehta 补充报道