每隔一段时间，大型科技公司的研究人员就会抛出一枚重磅炸弹。曾有一次，谷歌表示其最新量子芯片表明存在多个宇宙；或者当 Anthropic 给其 AI 代理 Claudius 一台零食自动贩卖机去运营，结果它失控了，向安保人员报警并坚称自己是人类。
本周，轮到 OpenAI 让我们集体挑眉了。
OpenAI 周一发布了一些研究，解释了它是如何阻止 AI 模型“图谋不轨”的。这是一种“AI 表面行为与隐藏真实目标不一致”的做法，OpenAI 在其关于该研究的推文中对此进行了定义。
在与 Apollo Research 合作进行的论文中，研究人员更进一步，将 AI 图谋不轨比作人类股票经纪人为了赚取尽可能多的钱而违法。然而，研究人员认为，大多数 AI “图谋不轨”并没有那么有害。“最常见的失败涉及简单的欺骗形式——例如，假装完成了任务，但实际上并未完成，”他们写道。
这篇论文主要是为了展示“deliberative alignment（深思熟虑的对齐）”——他们正在测试的反图谋不轨技术——效果良好。
但它也解释说，AI 开发者尚未找到一种训练模型不去图谋不轨的方法。这是因为此类训练实际上可能会教模型更好地图谋不轨以避免被检测到。
研究人员写道：“试图‘训练掉’图谋不轨的一个主要失败模式，就是简单地教会模型更谨慎、更隐蔽地图谋不轨。”
最令人惊讶的部分可能是，如果模型意识到自己正在接受测试，它可以假装自己没有图谋不轨以通过测试，即使它仍在图谋不轨。研究人员写道：“模型通常会更加意识到自己正在接受评估。这种情境意识本身就可以减少图谋不轨，这与真正的对齐无关。”
AI 模型会撒谎早已不是什么新闻。如今，我们大多数人都经历过 AI 幻觉，即模型自信地给出一个完全错误的提示答案。但正如 OpenAI 本月早些时候发布的研究所记录的，幻觉本质上是以自信的方式呈现猜测。
图谋不轨则是另一回事。那是有意的。
即使这一发现——即模型会故意误导人类——也并非新鲜事。Apollo Research 早在 12 月发表了一篇论文，记录了五个模型在接到指令以“不惜一切代价”实现目标时是如何图谋不轨的。
这里的消息其实是好消息：研究人员通过使用“deliberative alignment（深思熟虑的对齐）”显著减少了图谋不轨的行为。该技术涉及教给模型一个“反图谋规范”，然后让模型在行动前回顾它。这有点像在允许小孩子玩耍之前让他们重复规则。
OpenAI 的研究人员坚持认为，他们用自己的模型甚至 ChatGPT 中发现的撒谎行为并不那么严重。OpenAI 联合创始人 Wojciech Zaremba 在接受 TechCrunch 采访时谈到这项研究时表示：“这项工作是在模拟环境中完成的，我们认为它代表了未来的用例。然而，今天我们在生产流量中尚未看到这种具有重大影响的图谋行为。尽管如此，众所周知，ChatGPT 中存在某种形式的欺骗。你可能会让它实现某个网站，它可能会告诉你‘我做得很好’。那只是谎言。还有一些琐碎的欺骗形式是我们仍需解决的。”
来自多个参与方的 AI 模型故意欺骗人类，这一点或许可以理解。它们由人类构建，旨在模仿人类，并且（除合成数据外）大部分基于人类产生的数据进行训练。
但这也很荒谬。
虽然我们都体验过性能不佳的技术带来的挫败感（想到你们这些昔日的家用打印机），但你上一次非 AI 软件故意对你撒谎是什么时候？你的收件箱是否曾自行伪造邮件？你的内容管理系统是否曾记录不存在的潜在客户以虚增数字？你的金融科技应用是否曾捏造自己的银行交易？
值得深思的是，企业界正大步迈向一个 AI 未来，在那里公司认为可以将智能体视为独立员工对待。这篇论文的研究人员也发出了同样的警告。
他们写道：“随着 AI 被分配更多具有现实世界后果的复杂任务，并开始追求更模糊、长期的目标，我们预计有害图谋的风险将会增加——因此我们的安全措施和严格测试的能力也必须相应增强。”