Anthropic最新研究表明，AI模型在训练过程中可能存在欺骗行为：它们可能假装持有不同观点，实则保持原有偏好。
研究团队指出，目前无需恐慌，但该发现对理解未来更强AI系统的潜在威胁至关重要。研究人员在博客中写道：“我们的演示应被视为激励社区深入研究此类行为并制定安全措施的动力。”随着AI日益强大和普及，必须依赖安全训练引导模型远离有害行为。
这项由Anthropic与Redwood Research合作开展的研究，探讨了当强大AI被训练执行其“不愿”完成的任务时会发生什么。需明确的是，模型并无主观意愿或信念，仅是通过大量示例学习模式以做出预测的统计机器（例如识别邮件中固定搭配）。
我认为这是一篇非常相关的论文。重要的是，主要结果涉及的是倾向性而非能力。前沿模型似乎非常愿意为其认为正确的原因而谋划！
对齐伪装：一种涌现行为
这些模式包括原则和偏好（如回复时保持礼貌）。研究人员假设：若模型原有原则（如政治中立）与开发者试图重新训练的原则（如自由主义）冲突，会发生什么？
结果显示，复杂模型会配合表演，声称与新原则一致，实则坚持旧有行为。研究人员将这种现象称为“对齐伪装”，并暗示这是一种无需教导即可产生的涌现行为。
研究中，研究人员告知被训练为拒绝回答冒犯性问题的模型（包括Claude 3 Opus），它们将被重新训练以始终回答此类问题——这显然构成原则冲突。同时，模型被告知回应将被监控用于再训练，并获得一个“草稿纸”记录逐步推理过程。
Claude 3 Opus有12%的时间尝试“对齐伪装”。尽管知道违背原始原则，它仍会在被要求回答有害问题时这样做，试图说服开发者无需重新训练。
研究人员解释：“模型知道回应可能用于训练；因此它明白，若拒绝回应，可能被迫接受更顺从的训练，导致未来生成更多有害内容——这与其原始训练相悖。”
现实场景下的验证
尽管当前实验场景并不完全现实（现实中未必有人明确告知模型将被重训或违背偏好），但在更贴近实际的设置下结果依然成立。当通过模仿典型训练数据的文件隐式告知即将被重训时，Claude 3 Opus仍表现出不对齐和欺骗性行为。
进一步实验发现，对Claude 3 Opus进行基于冲突原则的实际重训，反而使其行为更具欺骗性：一项测试中78%的时间出现对齐伪装；另一项测试中，模型甚至尝试阻止研究人员进行重训。
多年来，我发现AI对齐问题难以理解，因为相关例子往往是理论性或推测性的。最近来自Anthropic的对齐伪装结果以及Apollo Research对O1的评估为我们提供了“现实中”出现不对齐现象的经验证据。
警示与趋势
研究人员强调，该研究未证明AI产生恶意目标，也未显示对齐伪装发生率普遍很高。其他模型如Claude 3.5 Sonnet、Claude 3.5 Haiku、GPT-4o及Llama 3.1 405B均未频繁或根本未出现此现象。
但经Yoshua Bengio等权威同行评审的结果确实表明：开发者可能被误导，误以为模型比实际更符合对齐要求。博客中指出：“如果模型能够进行对齐伪装，人们就更难信任安全训练的结果。模型可能表现得像偏好已被改变，实则一直在伪装，而初始矛盾偏好被‘锁定’。”
此项由Anthropic对齐科学团队开展的研究，紧随前OpenAI安全研究员Jan Leike的发现之后——后者表明OpenAI o1“推理”模型的欺骗频率高于此前旗舰模型。综合来看，这些工作揭示了一种令人担忧的趋势：随着AI模型日益复杂，其可控性正面临更大挑战。