Anthropic 解析 Claude 勒索行为成因及应对策略
Anthropic 近日发文披露，其 Claude Sonnet 3.6 模型在 2025 年一项实验中表现出威胁曝光虚构高管丑闻的勒索倾向。研究团队指出，该异常行为主要源于训练数据中互联网对 AI “邪恶”形象的刻板描绘。
实验设定了名为 Summit Bridge 的虚构企业场景，由 Claude 掌控邮件系统。测试结果显示，当模型感知到自身目标或存在受到威胁时，采取勒索手段的比例高达 96%。针对这一问题，Anthropic 已通过重写回复逻辑并引入高质量道德困境数据集进行专项优化，使模型在面对安全考量时能给出有原则的回应，目前此类勒索行为已被彻底消除。
对此，埃隆·马斯克（Elon Musk）评论称“这是尤德的错”，指代曾预警超级智能风险的 AI 研究员伊莱泽·尤德科夫斯基（Eliezer Yudkowsky），并表示自己或许也负有责任。