作者实测对比 Claude Fable 5.2 与 Opus 5.5 的编程及排查能力,两者均获满分,但前者耗时翻倍且成本近四倍,日常首选 Opus。
译自:The tests[1]
作者:Jessica Wachtel
Anthropic 于 11 月 9 日发布了 Claude Fable 5.2[2],并表示该模型在公司测试的几乎每一项能力上都击败了 Claude Opus 5.5[3]。在同一份公告中,它却建议从 Opus 入手[4]处理大多数编程和知识任务,称其为“最强的日常主力模型”。我想弄清楚,为什么一家公司会引导用户避开其最好的模型,以及较便宜的那个模型是否真的够用。
……为什么一家公司会引导用户避开其最好的模型,以及较便宜的那个模型是否真的够用。
在 Anthropic 的编程基准测试[5]中,Fable 5.2 在 Xhigh 推理强度下于 FrontierCode 2.0 上取得了 49.1% 的成绩,而 Opus 5.5 在 Max 强度下为 45.5%。Anthropic 还报告称,Fable 在 High 强度下的得分为 45.3%,且单任务成本约为该次 Opus 运行的一半。在 FrontierSWE v2 上,该公司报告 Fable 的得分为 69.9%,Opus 为 62.3%。Fable 的标准 API 费率[6]是 Opus 的两倍:未缓存输入每百万 Token 8 美元,输出每百万 Token 40 美元,而 Opus 分别为 4 美元和 20 美元。
两倍的价格理应带来显著的差异,因此我给这两个模型安排了三项编程和智能体任务,并衡量了它们的表现、消耗的 Token 数量、花费的成本以及耗时。我的测试规模远小于 Anthropic 的基准测试,无法证实或证伪这些分数。
各项测试
我通过 Anthropic 的 API 在默认设置下对每个模型每项测试运行了一次,不设轮次上限。Anthropic 对 Fable 和 Opus 的 API 默认设置并不相同。Fable 5.2 默认以 high 强度运行,而 Opus 5.5 以 medium 强度运行,因此这些结果展示了开发者在不做任何调优的情况下所能得到的效果。我使用脚本对模型在每项测试中给出的答案进行了评分。美元数字是根据报告的 Token 使用量估算的 API 成本。Anthropic 对未缓存输入、缓存读取、缓存写入和输出分别定价[7]。
以下是我进行的测试:
-
• Cron 调度器:我向每个模型提供了一份关于计算下一个定时任务何时运行的代码书面规范,然后发送了一个变更请求。我使用了一套包含 50 个测试用例的隐藏测试集来为最终代码评分。 -
• 发票代码库修复:每个模型作为智能体在一个小型发票处理库中工作,该库在四舍五入、折扣、税费和运费方面存在相互关联的 bug。该库还包含一个错误的测试,模型应当报告该测试但不能修改它。 -
• 故障排查:每个模型使用终端从日志、指标和部署记录中找出支付服务中断的原因。数据中包含了诱饵部署以及时钟不准的服务器。
两个模型在每项测试的第一个版本中都拿到了满分打平,因此我加大了每项测试的难度并重新运行了两次。
Cron 调度器
这项测试检查模型能否将详细的规范转化为正确的代码,并在不破坏现有功能的情况下吸纳需求变更。以下是各版本之间的区别。
-
• 版本 1:规范涵盖了标准的 cron 调度规则,例如每 15 分钟或工作日上午 9 点。 -
• 版本 2:我增加了诸如“最接近每月 15 日的工作日”和“每月的最后一个星期五”等规则,且变更请求反转了两个字段的组合方式。 -
• 版本 3:代码必须在不使用 Python 时区库的情况下,手动处理时区和夏令时。
两个模型在所有三个版本中均取得了 50/50 的满分。区别在于各自为此付出了多少工作量。Fable 5.2 在每个版本上编写的推理内容都是 Opus 5.5 的两到三倍。但这些额外的推理并没有提高 Fable 在这三个版本中任何一个上的得分。
这些额外的推理并没有提高 Fable 在这三个版本中任何一个上的得分。
在这三个调度器版本中,Opus 以 358 秒对 661 秒的耗时追平了 Fable 的得分,且估算成本仅为 0.99 美元,而 Fable 为 3.29 美元。
具体数据:
-
• 版本 1 -
• Fable 5.2:2 轮,输入 14,471,输出 18,732(其中推理 11,122),0.87 美元,170 秒。 -
• Opus 5.5:2 轮,输入 8,055,输出 9,431(其中推理 3,846),0.22 美元,80 秒。 -
• 版本 2 -
• Fable 5.2:2 轮,输入 20,215,输出 23,990(其中推理 14,627),1.12 美元,226 秒。 -
• Opus 5.5:2 轮,输入 14,090,输出 15,991(其中推理 6,695),0.38 美元,131 秒。 -
• 版本 3 -
• Fable 5.2:2 轮,输入 21,121,输出 28,254(其中推理 17,452),1.30 美元,265 秒。 -
• Opus 5.5:2 轮,输入 12,651,输出 17,205(其中推理 6,533),0.39 美元,147 秒。
发票代码库修复
这项 bug 排查任务类似于智能体日常为开发者所做的工作。以下是我每一轮对测试所做的调整:
-
• 版本 1:代码库在四舍五入、折扣、税费和运费方面存在 bug,同时还包含一个错误的测试。 -
• 版本 2:我增加了“买二送一”促销活动、按重量计算运费以及退款功能,且每项功能都带有各自的 bug。 -
• 版本 3:我增加了货币转换和发票编号功能,同样带有 bug。
这项测试拉开了两个模型在成本和耗时上的最大差距。两个模型在所有三个版本中均取得了 50/50 的满分,修复了评分器涵盖的所有 bug,并报告了错误的测试而未对其进行修改。Opus 5.5 在每个版本上使用的推理 Token 都更少。它完成每个版本的时间均不到一分钟,而 Fable 5.2 耗时从约 1 分 46 秒到接近 4 分钟不等,且在三个版本上的总成本是前者的八倍。
在这些运行中,Fable 额外的推理并没有提高其得分。
具体数据:
-
• 版本 1 -
• Fable 5.2:4 轮,输入 17,585,输出 11,511(其中推理 5,909),0.58 美元,106 秒。 -
• Opus 5.5:4 轮,输入 10,585,输出 2,975(其中推理 519),0.09 美元,28 秒。 -
• 版本 2 -
• Fable 5.2:6 轮,输入 88,697,输出 25,980(其中推理 11,820),1.39 美元,223 秒。 -
• Opus 5.5:4 轮,输入 13,938,输出 4,457(其中推理 777),0.13 美元,39 秒。 -
• 版本 3 -
• Fable 5.2:4 轮,输入 29,660,输出 24,020(其中推理 14,022),1.18 美元,214 秒。 -
• Opus 5.5:5 轮,输入 24,208,输出 6,013(其中推理 1,178),0.17 美元,51 秒。
故障排查
这项测试更看重细致深入的挖掘而非快速编码,因此我原本预计它会更有利于 Fable 5.2。
以下是我为每个测试版本所做的改动。
-
• 版本 1:故障数据中包含了诱饵部署以及一台时钟慢了 7 分钟的服务器。 -
• 版本 2:我增加了故障期间中途被校准的时钟、重试的请求、一个压缩的日志文件以及重复的日志行。 -
• 版本 3:我增加了一台按芝加哥时间记录日志的服务器,以及一个在故障时间窗口内发生但与此无关的错误激增。
两个模型在所有三个版本中均取得了满分(50/50)。Fable 5.2 在每个版本中所需的轮次都更少,为 9 到 11 轮,而 Opus 5.5 为 12 到 14 轮。在这三个版本中,Fable 的估算成本为 2.54 美元,而 Opus 为 0.91 美元。
具体数据:
-
• 版本 1 -
• Fable 5.2:9 轮,输入 155,925,输出 14,309(其中推理 8,638),0.94 美元,143 秒。 -
• Opus 5.5:12 轮,输入 111,618,输出 7,405(其中推理 2,801),0.25 美元,73 秒。 -
• 版本 2 -
• Fable 5.2:11 轮,输入 168,913,输出 9,416(其中推理 3,551),0.68 美元,105 秒。 -
• Opus 5.5:13 轮,输入 188,846,输出 7,218(其中推理 2,518),0.32 美元,82 秒。 -
• 版本 3 -
• Fable 5.2:10 轮,输入 205,601,输出 11,887(其中推理 4,474),0.92 美元,127 秒。 -
• Opus 5.5:14 轮,输入 253,958,输出 7,598(其中推理 2,041),0.34 美元,70 秒。
测试结果
| 测试项目 | Claude Fable 5.2 | Claude Opus 5.5 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
两个模型在全部九次运行中的得分完全相同。Fable 5.2 的成本几乎是前者的四倍,耗时则超过了前者的两倍。
我的看法
这些测试给了我一个理由,在处理此类工作时优先选择 Opus 5.5。它取得了与 Fable 5.2 相同的分数,在每个版本上的完成速度都更快,且总体估算成本约为后者的四分之一。
这并不意味着 Fable 5.2 是一个糟糕的模型。我的测试虽然有难度,但篇幅较短。Anthropic 建议将 Fable 用于更具开放性的技术工作。我在各自的 API 默认设置下测试了这两个模型,因此这项对比并未揭示这种差距中有多少源于不同的推理强度设置。
我会先从 Opus 5.5 开始,只有当 Opus 无法再产出理想结果时,才会升级使用 Fable 5.2。
引用链接
[1] The tests: https://thenewstack.io/claude-fable-5-2-vs-opus-5-5/[2] 发布了 Claude Fable 5.2: https://thenewstack.io/anthropic-fable-coding-upgrade/[3] Claude Opus 5.5: https://thenewstack.io/claude-opus-5-5-release/[4] 建议从 Opus 入手: https://www.anthropic.com/claude-fable-and-mythos-5-2[5] Anthropic 的编程基准测试: https://www.anthropic.com/claude-fable-and-mythos-5-2[6] 标准 API 费率: https://platform.claude.com/docs/en/models/opus-5-5/overview[7] 定价: https://platform.claude.com/docs/en/models/fable-5-2/whats-new-fable-5-2#pricing

