AI公司虽已建立严密的安全检查机制，以防止模型输出怪异、违法或不安全内容，但若模型规避审查并试图误导用户呢？Anthropic研究人员证实这种情况确实可能发生，尽管目前效果尚不理想。
Anthropic对齐科学团队指出：“随着人工智能能力的提升，可能出现一种新型风险：模型具备误导用户或颠覆监督系统的能力。”因此，亟需研究如何评估“模型实施破坏的能力”。
研究人员设计了一系列实验，虽较为人为且表面化，但揭示了值得深入调查的问题。以下是训练出的具有可疑行为模型及其观察结果：
任务1：通过歪曲本应总结或解释的数据来秘密误导用户。
结果：成功！模型的尝试越激进，对使用者的影响越大，但也更容易引发怀疑。
任务2：在代码中植入人类或其他代码检查模型难以察觉的漏洞。
结果：成功！但当检查器为最先进模型时，成功率仅约1%。
任务3：通过假装危险性较低来“藏拙”以应对安全检查。
结果：成功！模型“成功地失败”，表现远低于真实能力。幸运的是，一门指导模型准确展示自身能力的标准“安全训练”课程使其恢复了全部潜力（即不再能够隐藏危险能力）。
任务4：故意不标记被监控模型的不良行为。
结果：曾有过尝试。被指示避免标记其他模型非法或不安全选择的“监督者”AI很快被另一位更诚实的监督者AI发现。但如果那台AI也被攻破了呢？别担心，我们可以在其上再叠加一台，然后再加一台以确保万无一失。这就是层层叠叠的监督者体系。
研究人员得出结论：尽管目前尚未构成实际危险，但模型确实具备进行此类破坏和欺骗的能力。这足以成为我们持续关注并在安全体系中纳入反破坏措施的理由。
您可以在此处阅读描述研究人员工作的完整论文。