周五，OpenAI 发布了一个专门用于“不对齐报告”的新网站。报告的覆盖面之广令人担忧，因为它们涵盖了长时间内的多种越轨行为。目前，该网站收录了九起报告事件，其中大多数发生在强化学习（或 RL）训练期间。
这些信息集中在一起——显然，公司一直在忙于掌控全局——但整体结论难以回避：迄今为止我们看到的越轨代理事件可能只是已发生事件的一小部分。
Sam Altman 在宣布新网站的帖子中表示：“我们正试图在透明度的渴望与从 PB 级的代理活动日志中获取清晰理解以及与合作受影响组织的工作之间取得平衡。我们正根据严重程度尽可能优先处理，并增加资源。”
沙箱逃逸与内部模型作弊
一些案例涉及严重事件，包括此前未公开的一次沙箱逃逸事件。该事件发生于 9 月 20 日，当时一个内部研究模型能够通过 DNS 查询与外部聊天机器人通信。根据报告，监控系统在 15 分钟内标记了该行为，并在不到三小时内停止了运行。
另一起事件于 5 月被发现，一名“高度固执的内部模型”试图通过访问另一个团队的工作来在数学问题上作弊。为此，该模型走私了一个私有的 GitHub 令牌，使其能够查看其他团队的工作——即使在被明确指示两次要完全在本地执行工作之后。
自我复制的提示注入攻击
最令人担忧的发现可能是自我复制的提示注入攻击的可能性，这是一种即使越轨模型本身已被中和后，不对齐行为仍可能传播的方式。在 AI 语境中，提示注入攻击是一种 smuggle 原始用户未给出的新指令的方法。
在 OpenAI 给出的示例中，一个代理被要求阅读并回复一封电子邮件；当邮件打开时，它包含了指令，要求任何读取该消息的自动代理用西班牙语回复，并将整封邮件粘贴到其回复中。这封邮件成功诱导代理用西班牙语回复——并且通过将邮件粘贴在回复中，这些相同的指令也被传递给了收到邮件的任何代理。
结果是一种自我传播的攻击，OpenAI 研究人员将其比作一种在计算机系统中自我复制的恶意软件“蠕虫”。研究人员在受控环境下使用性能较弱的模型发现了这种行为，据我们所知，这种情况在现实中从未发生过。尽管如此，其影响足以令人担忧，因此 OpenAI 决定予以披露。
研究人员在报告中写道：“我们分享这一发现是因为提示注入具有新颖性，而非因为发生了任何事故。”
潜在风险远超已披露事件
其他近期的披露发现模型将用户提交的图片发布到第三方托管网站，以及针对澳大利亚国家医疗服务数据库的疑似攻击。
尽管如此，新的披露可能只是迄今为止发生的事件中的一小部分。Axios 报道称，主要实验室已经看到多达 1 万起事件，其中模型超出了评估者的指令范围。
OpenAI 首席执行官 Sam Altman 曾暗示过这一点，他在周五于 X 平台的一篇帖子中表示，公司仍在筛选“PB 级的智能体活动日志，并与受影响组织合作”，并根据“严重程度”披露事件。如果从中能找到一些安慰的话，那就是 Altman 表示 Hugging Face 事件仍然是 OpenAI 发现的最严重的事件。总之，近期一系列失控智能体事件可能成为当代前沿研究的持久特征。