本文对比测试了 Claude Sonnet 5.5 与 Opus 5.5。结果显示 Sonnet 5.5 在多次测试中表现完美且成本低 42%,作者建议将 Sonnet 5.5 作为复杂编程的默认模型,而智能体循环则继续使用 Opus 5.5。
译自:Claude Sonnet 5.5 vs. Opus 5.5: 42% cheaper and perfect on every run[1]
作者:Jessica Wachtel
Anthropic 推出了 Sonnet 5.5[2],就在 Opus 5.5[3] 发布六天之后。该公司表示,它在 Terminal-Bench 4.0 上的得分为 70.6%,在超高(xhigh)努力程度下领先于 Opus 5.5 的 66.4%。该公司还表示,Sonnet 5.5 生成输出的速度比 Sonnet 5 快 30% 以上,并且每个任务消耗的 Token 更少。
Sonnet 的定价为每百万输入 Token 2 美元、每百万输出 Token 10 美元,是 Opus 5.5 的 4 美元和 20 美元的一半。
然而,每个 Token 的价格减半并不保证账单减半。如果模型需要更多的 Token 来完成工作,节省的费用就会缩水。Artificial Analysis 进行的独立测试发现在最大努力程度下确实如此,Sonnet 5.5 每个任务的成本为 7.67 美元,而 Opus 5.5 为 5.98 美元。我上周的测试[4]表明 Opus 5.5 是新的预算模型。Sonnet 5.5 让我重新进行了测试。
然而,每个 Token 的价格减半并不保证账单减半。
我从来都不是 Sonnet 的粉丝。我过去尝试过它,因为它比 Opus 5 便宜,但最终我总是回到 Opus 5,因为当输出不够优秀时,便宜并不是胜利。我来的时候不确定 Sonnet 是否有真正的位置,所以我将它与 Opus 5.5 进行了测试,这是我最想用它替换的模型。
测试
我通过 Anthropic API 调用了这两个模型,使用相同的提示词、自适应思考和最大努力设置。每个模型每个测试运行五次,以衡量一致性,并对照模型从未见过的隐藏测试套件对每次运行进行评分。我记录了每次运行的 Token、标价成本和时间。
-
• 智能体漏洞修复:模型获得一个小型 Python 订单定价仓库,其中包含四个埋入的漏洞和一个不稳定测试,以及用于读取文件、写入文件和运行测试的工具。一个包含 12 个测试的隐藏套件检查修复情况,我跟踪了工具调用,因为 Anthropic 引用的早期测试人员表示 Sonnet 5.5 需要更少的工具调用。 -
• 解析器规范:模型根据两页的规范为虚构的包管理器编写依赖解析器,而不运行任何代码。包含 120 个测试的隐藏套件对其进行评分。 -
• 并发漏洞:模型获得一个带有三个竞态条件和一个描述重复扣费及从未运行任务的事故报告的 asyncio 作业队列。它必须在不运行代码的情况下修复每个漏洞,八个隐藏测试检查每个修复。
我没有在这里包含提示词,因为每个测试都依赖于代码仓库、规范或模块,太长而无法快速复制/粘贴。
智能体漏洞修复
两个模型在所有五次运行中都修复了所有四个漏洞,并通过了所有 12 个隐藏测试。双方都没有编辑测试文件,并且都标记了不稳定的测试。
Sonnet 5.5 平均耗时 5 分 8 秒,进行 29 次工具调用,产生 42,608 个输出 Token,每次运行成本 0.70 美元。Opus 5.5 平均耗时 3 分 21 秒,进行 25 次工具调用,产生 20,625 个输出 Token,成本 0.75 美元. Sonnet 5.5 使用了两倍的 Token,这几乎抵消了其所有的按 Token 折扣。
Sonnet 5.5 并没有一次成功。在智能体测试中,模型分步骤工作,每个步骤有 32,000 个 Token 的限制。在我的第一次尝试中,Sonnet 5.5 在单个步骤中思考了太长时间,以至于在五分之四的运行中触及了该限制,并且这些运行在完成之前就停止了。Opus 5.5 在相同的限制下运行,且从未接近该限制。我将限制提高到 128,000 并重新运行了这四次,全部通过。失败的尝试花费了大约 1.40 美元,这不包含在总数中。算上这些,Sonnet 5.5 在这项测试中平均每次运行成本约为 0.98 美元,高于 Opus 5.5 的 0.75 美元。
Sonnet 5.5 在单个步骤中思考了太长时间,以至于在五分之四的运行中触及了该限制……
Opus 5.5 赢得了这项测试。两个模型都修复了每个漏洞,但 Opus 5.5 的完成速度快了约 35%,并且算上 Sonnet 5.5 失败的运行,每次运行的成本更低。
解析器规范
Sonnet 5.5 赢得了这一场。两个模型在所有五次运行中都通过了所有 120 个隐藏测试,但 Sonnet 5.5 更快、更便宜地完成了任务。
Sonnet 5.5 平均耗时 8 分 58 秒,产生 81,097 个输出 Token,每次运行成本 0.82 美元。Opus 5.5 平均耗时 9 分 40 秒,产生 70,687 个输出 Token,成本 1.42 美元。Sonnet 5.5 多使用了 15% 的 Token,但成本降低了 42%,并且完成速度稍快。
并发漏洞
这个测试最让我惊讶。Sonnet 5.5 在所有五次运行中都修复了所有三个竞态条件并通过了所有八个隐藏测试。Opus 5.5 在三次运行中与之匹配。在另外两次运行中,它耗尽了所有 128,000 个输出 Token 用于思考,并且没有产生任何答案。
Sonnet 5.5 平均耗时 12 分 13 秒,产生 101,788 个输出 Token,每次运行成本 1.02 美元。Opus 5.5 平均耗时 16 分 43 秒,产生 111,428 个输出 Token,每次运行成本 2.24 美元(包括失败的运行)。
Sonnet 5.5 明显赢得了这项测试。它每次都表现完美、速度更快,成本不到一半。
结果
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Sonnet 5.5 在全部 15 次运行中都表现完美,而 Opus 5.5 在 13 次中表现完美,其两次失误均在并发测试中。Sonnet 5.5 的成本为 12.69 美元,而 Opus 5.5 为 22.07 美元,便宜了 42%。算上它重新运行的四次,成本为 14.09 美元,仍然便宜约 36%。总体而言,它完成所有 15 次运行的速度也快了 11%。它赢得了解析器和并发测试。Opus 5.5 赢得了智能体测试,完成速度快了约 35%,而 Sonnet 5.5 使用了两倍的 Token。
这些结果让我感到惊奇。我原本绝对认为 Opus 5.5 会比 Sonnet 5.5 表现更好。
我的看法
Artificial Analysis 发现,在最大努力程度下,Sonnet 5.5 每个任务的成本比 Opus 5.5 高,同时在其智能指数上的得分略低。这在我的测试中并没有发生。Sonnet 5.5 是更准确的模型,甚至算上我不得不重做的那四次运行,它的总成本比 Opus 5.5 便宜约 36%。
价格减半仍然不意味着账单减半。Sonnet 5.5 通常需要更多的 Token 才能完成,因此总体而言它便宜了约 36%,而不是 50%。
将 Sonnet 5.5 用作你进行复杂编程工作的默认模型。一旦我提高了它的输出限制,它在每次运行中都表现完美,所以请将限制设置得很高,因为它每一步的思考时间比 Opus 5.5 长。对于智能体循环,请继续使用 Opus 5.5。它完成智能体测试的速度快了约 35%,并且一旦算上 Sonnet 5.5 失败的运行,成本更低。
引用链接
[1] Claude Sonnet 5.5 vs. Opus 5.5: 42% cheaper and perfect on every run: https://thenewstack.io/claude-sonnet-5-5-vs-opus-5-5/[2] Sonnet 5.5: https://thenewstack.io/claude-sonnet-55-launch/[3] Opus 5.5: https://thenewstack.io/claude-opus-5-5-release/[4] 上周的测试: https://thenewstack.io/claude-opus-5-5-vs-opus-5/

