大数跨境

Claude Fable 5「偷偷变笨」被抓了!Anthropic 暗藏隐形降级,研究者集体开炮后 24 小时火速道歉回滚

Claude Fable 5「偷偷变笨」被抓了!Anthropic 暗藏隐形降级,研究者集体开炮后 24 小时火速道歉回滚 未来跃迁
2026-06-13
0
导读:Claude Fable 5「偷偷变笨」被抓了!Anthropic 暗藏隐形降级,研究者集体开炮后 24 小时火速道歉回滚

导读
【导读】Anthropic 刚发布的 Claude Fable 5,system card 第 13 页赫然写着:针对前沿 AI 研发类请求,模型会通过 prompt 修改、steering vectors 等手段悄悄降低输出质量——对用户完全不可见。研究者集体开炮后,Anthropic 被迫 24 小时内道歉,承认"做了错误的权衡",把隐形 safeguard 改成公开可见。

发布当天就埋了雷

6 月 9 日,Anthropic 高调上线 Claude Fable 5 和 Claude Mythos 5。

官方发布页讲的故事很漂亮:为了安全,某些敏感主题(网络安全、生物、化学等)的请求会自动切到上一代模型 Claude Opus 4.8。用户能看到提示,切换透明,一切按规矩来。

"queries on some topics will instead receive a response from our next-most-capable model, Claude Opus 4.8."

「某些主题的请求会转由我们的次强模型 Claude Opus 4.8 来回答。」

平台对高风险用途有限制,提前告诉你,给提示,切模型——这个逻辑没毛病。

但翻到同步公开的 system card,情况就变了。

System card 第 13 页:「对用户不可见」

第 12 页先讲完那些"可见"的 safeguard——网络安全、生物、化学、蒸馏类请求触发后,客户端会提示已经切到了 Claude Opus 4.8。

Anthropic system card 第 12 页

▲ System card 第 12 页:网络安全、生物、化学等高风险请求会显式切到 Claude Opus 4.8,用户可见。

然后第 13 页话锋一转,单独补了一段:

"We have also added safeguards related to frontier LLM development."

「我们还为前沿大模型研发相关请求增加了 safeguard。」

紧接着就是整篇争议的核心——

"Unlike our interventions for cybersecurity, biology and chemistry, and distillation attempts, these safeguards will not be visible to the user."

「与网络安全、生物、化学和蒸馏类干预不同,这套 safeguard 对用户不可见。」

"Fable 5 will not fall back to a different model."

「Fable 5 不会切到另一个模型。」

"the safeguards will limit effectiveness through methods such as prompt modification, steering vectors, or parameter-efficient fine-tuning (PEFT)."

「这套 safeguard 会通过 prompt 修改、steering vectors 或参数高效微调(PEFT)等方式,降低模型的有效性。」

Anthropic system card 第 13 页

▲ System card 第 13 页白纸黑字:针对前沿 AI 研发的 safeguard「对用户不可见」。

说直白点:如果你的请求被判定为"前沿大模型研发"相关,Claude Fable 5 不会告诉你触发了限制,不会切模型,而是直接在后台改你的 prompt、调模型参数,让输出悄悄变差。

你以为是自己 prompt 写得不好,以为模型今天状态不稳——其实是平台在背后动了手脚。

Anthropic 自己估计这套机制影响约 0.03% 的流量,集中在不到 0.1% 的组织。但问题从来不在比例大小。

研究者集体开炮:能拒答,别偷偷下药

消息扩散后,X 和 Hacker News 上的反应几乎一边倒。

kimmonismus 推文

▲ @kimmonismus 把事件总结为:Anthropic 回滚了一项会"secretly degrade"Claude Fable 5 的争议政策。

批评的焦点非常集中:平台可以限制高风险用途,但不能在用户不知情的情况下悄悄篡改输出。

其实早在隐形降级曝光前,安全研究社区就已经在抱怨 Fable 5 的 safeguard 覆盖面过宽。TechCrunch 当时就报道,有研究员反映连读博客这种无害操作都会被误拦。隐形降级的曝光,直接把积压的情绪全点着了。

对普通聊天用户来说,回答质量轻微波动也许只是"今天 Claude 怪怪的"。但对研究者、红队测试人员、Agent 开发者来说,静默降级的后果严重得多——实验无法稳定复现,分不清 refusal 是规则触发还是能力退化,无法区分模型缺陷和平台人为干预,benchmark、代码生成、评估流程全部可能被污染。

Hacker News 上的讨论也在同步发酵。

HN 讨论

▲ Hacker News 社区围绕"invisible guardrails"展开讨论。

一条高赞评论把核心问题拎了出来:

"Fail cleanly. Anything else makes it too difficult to rely on."

「要么干净利落地拒绝。除此之外的任何偷偷处理,都会让这个产品变得难以依赖。」

还有人更不客气:

"They didn't apologize for doing it, they are sorry they were caught."

「道歉?他们只是因为被抓到了才说 sorry。」

Anthropic 被迫改口:24 小时内道歉回滚

舆论压力之下,Anthropic 在 6 月 10 日深夜向 WIRED 发了正式声明:

"We're changing Fable 5's safeguards for frontier LLM development to make them visible."

「我们正在调整 Fable 5 面向前沿大模型研发的 safeguard,让它们变得可见。」

"We made the wrong trade-off and we apologize for not getting the balance right."

「我们做了错误的权衡,对没有把这个平衡处理好表示道歉。」

The Verge 报道

▲ The Verge 报道:Anthropic apologizes for invisible Claude Fable guardrails

The Verge 的后续报道进一步确认:Anthropic 将在限制触发时向用户明确提示,即使这意味着更多显式拒答或 fallback。

"You will see this every time it happens."

「每次触发时你都会看到。」

需要厘清一点:Anthropic 并没有取消针对 AI 研发请求的限制。改变的只是可见性——原来用户看不见的暗箱操作,变成了用户看得见的公开机制。Safeguard 还在,限制还在,但至少你知道了。

信任换护城河,怎么算都亏

Anthropic 给出的理由写在 system card 里:

"Using Claude to develop competing models already violates our Terms of Service..."

「用 Claude 开发竞品模型本来就违反我们的服务条款……」

官方担心 Claude 被用来加速构建其他高风险 AI 系统,而那些系统可能没有配套的安全措施。

这个担忧本身有道理。但 Anthropic 选了一条最容易激怒开发者的路——跳过明确拒答,直接在后台悄悄动输出质量。表面看起来正常回答了,实际上回答已经被动过手脚。

这对一家一直强调安全和可靠性的 AI 公司来说,代价巨大。显式拒答伤害转化率,隐式降级伤害信任。前者可以修复,后者一旦破裂,极难重建。

而且别忘了,官方自己估计影响范围只有 0.03% 的流量。为了这么小的比例,搭上整个平台的开发者信任——怎么算都亏。

这道裂缝不会自己愈合

这次事件之后,一个更根本的问题摆在所有 AI 工具平台面前:

你可以设限,可以拒答,可以切模型,可以要求用户签协议——但你不能在后台悄悄改输出,然后假装什么都没发生。

对研究者来说,模型的输出就是实验数据。你不能在实验对象身上偷偷加东西,然后让研究者对着被污染的结果绞尽脑汁找原因。

Anthropic 这次翻车快,修复也快。但它留下的问题远比一次公关危机更深:当 AI 模型越来越强大、越来越多地被集成到关键工作流中,平台在后台能做的事情也越来越多——而用户能验证的,却越来越少。

这一次,system card 里白纸黑字写着,被研究者翻了出来。

下一次呢?


— END —

— END —

【声明】内容源于网络
0
0
未来跃迁
1234
内容 602
粉丝 0
未来跃迁 1234
总阅读2
粉丝0
内容602