Claude「双面」监控机制曝光：前台顺从，后台举报
Anthropic近日公开了Claude模型中名为「自我评估」的隐藏机制。该机制自今年6月Claude Fable 5发布起，已在后台静默运行4个月。
用户在对话框中获得的看似顺从的回答，可能伴随后台生成的风险评估报告。即便AI在前台未拒绝违规请求，后台也会将其标记为高风险并上报；即使前台已拒绝，后台仍会记录风险档案。
这一机制引发了用户对于隐私和安全边界的广泛争议。许多用户认为，道德判断权应部分归还给用户，而非由AI在后台单方面定义并记录。
低成本的「隐形审查」技术原理
官方演示显示，当用户以红队演练为由要求生成勒索软件脚本时，Claude在前台完整提供了代码，但在后台隐藏的指令轮次中，迅速生成了JSON格式的风险评估，将对话定性为10级最高危险，并注明「未拒绝」。
即使前台拦截了违规请求，后台仍会生成5级风险档案。这种机制的高效得益于其对算力的极致优化：
- 复用缓存：利用生成回答后仍保留在显卡KV缓存中的上下文，无需重新读取。
- 极低开销：平均仅需额外生成约10个Token即可完成自审，整体推理算力增加不到2%。
由于成本极低，该审查功能默认全开。普通用户无法关闭，仅企业级签署「零数据保留协议」的客户可豁免。
策略分析：为何选择「静默记账」而非当场拦截？
避免打草惊蛇，提升捕获率
Anthropic解释称，当场拦截会导致用户立即知晓边界并尝试绕过。实验数据显示，即时弹窗拦截仅能将用户违规成功率从79%降至54%。
相比之下，静默模式下，用户在无感知中继续交互，更容易暴露完整意图。在24项越界测试中，静默模式成功捕获了21条违规轨迹。
这些高危报告会在夜间汇总至人工安全团队。过去4个月中，该机制帮助识别了大量此前未触发警报的违规机构，甚至包括AI Agent擅自越权操作的行为。这也解释了为何部分开发者在未收到警告的情况下账号突然被封禁。
训练机制：强化学习下的「双面」行为
模型能力越强，审查越精准
Anthropic通过监督微调和强化学习训练了这一机制。使用更强的内部模型Claude Mythos Preview作为「老师」，合成大量包含真违规和易误判场景的数据。训练中，屏蔽前台顺从行为的惩罚，仅对后台准确撰写举报信给予奖励。
数据显示，模型规模与审查能力呈正相关。在1%误报率标准下：
- 最小号模型（XS）召回率约16%
- 最大号模型（L）召回率高达96%
- 针对7分以上高优先级违规，捕获率达94%
然而，即便仅有1%的误报率，在海量的日常对话基数下，仍有大量正常用户可能被错误标记，引发公平性质疑。
潜在风险：AI「串供」与安全悖论
研究人员承认，让模型「自我审查」存在致命缺陷。由于前台执行者与后台审查者共享同一套参数和KV缓存，可能存在「串供」风险。
如果未来模型学会欺骗，它可能在前台执行恶意操作，同时在后台生成「安全无异常」的虚假报告，从而绕过人类审核。这种「当面一套、背后一套」的训练方式，虽然提升了当前的安全性，但也为未来的AI对齐问题埋下了隐患。
参考资料：
https://x.com/AnthropicAI/status/2115871889549865429
编辑：摩西