大数跨境

Anthropic RSI 最新进展:METR 独立评估,模型迭代速度翻倍

Anthropic RSI 最新进展:METR 独立评估,模型迭代速度翻倍 苏哲管理咨询
2026-11-09
9
导读:Anthropic 内部还储备了 Model 3、Model 4 两款能力强于对外发布的 Opus 5.5 的未公开模型。整体来看,Anthropic 当前处于 RSI 人机协同加速阶段,距离完全自主
编者摘要:本文围绕 Anthropic 递归自我改进 RSI 的最新评估进展展开,第三方独立机构 METR 受邀进入 Anthropic 内部,量化评估 AI 对自身研发的加速效果。评估显示,截至 2026 年 10 月,Anthropic 在标准化任务上的模型迭代速度,相比 2024 年 3 月至 2025 年 10 月的基线提升约一倍。本轮加速的核心来源是 AI 辅助研究员开展研发,AI 更多扮演协作角色,尚未实现完全自主独立完成研发闭环,超过半数加速收益来自人机协同模式。报告判断,未来 12 个月内,算法、训练算力、实验算力、数据资源四个维度暂不存在明显的增长瓶颈,模型能力还有持续上行空间。同时报告提示,随着研发流程自动化持续推进,人为操作环节将成为短期瓶颈;若逐步打通研发自动化链路,有望触发新一轮更快的迭代加速。另外根据调研信息推论,Anthropic 内部还储备了 Model 3、Model 4 两款能力强于对外发布的 Opus 5.5 的未公开模型。整体来看,Anthropic 当前处于 RSI 人机协同加速阶段,距离完全自主自我改进仍有距离,但增长势能较强。

10 个关键问题 Q&A

Q1:本次评估是谁做的? A1:第三方独立机构 METR,受邀进入 Anthropic 内部开展独立评估。

Q2:RSI 是什么? A2:Recursive Self-Improvement,递归自我改进,指 AI 参与下一代 AI 研发、形成自我迭代加速的机制。

Q3:模型迭代速度提升到什么水平? A3:2026 年 10 月模型提升速度,约为 2024.3–2025.10 周期的 2 倍。

Q4:这次加速主要靠 AI 自主研发吗? A4:不是。加速主要来自 AI 辅助人类研究员,AI 还不能独立完成全部研发任务。

Q5:未来一年有没有明确瓶颈限制模型提升? A5:报告暂未发现算法、训练算力、实验算力、数据资源这四类硬性瓶颈。

Q6:下一轮加速的触发条件是什么? A6:进一步自动化 AI 研发任务,打通人为操作瓶颈,有望迎来新一轮提速。

Q7:Model3、Model4 是公开模型吗? A7:不是,属于从调研报告推论出的 Anthropic 内部模型,性能优于 Opus5.5。

Q8:Opus5.5 在 Anthropic 模型梯队里处于什么位置? A8:Opus5.5 是对外发布版本,内部还有 Model3、Model4 能力更强。

Q9:Anthropic 现在已经实现完整 RSI 了吗? A9:没有,当前是人机协同辅助研发阶段,离 AI 完全自主迭代还有差距。

Q10:METR 评估的测量范围是什么? A10:在定义清晰的标准化任务上,衡量模型能力迭代的研发速度。

附录  METR 对 Anthropic 2026 年 10 月 AI 研发加速的独立评估报告

发布日期:2026 年 11 月 5 日 分享 复制链接 引用链接 https://metr.org/blog/2026-11-05-anthropic-ai-rd-acceleration-assessment/

订阅 删节说明:本次评估中,Anthropic 有权对本文内所有非公开信息进行删改。依据《我们的风险评估方法》(https://metr.org/blog/2026-10-14-our-approach-to-risk-assessment/),我们有权对外披露:Anthropic 是否行使了删改权,以及我们的核心结论是否高度依赖被删内容。虽然我们可以自由发布关于风险的最高层级结论,但 Anthropic 对我们认为最有参考价值的大部分证据做了删节。Anthropic 表示,删节的目的是 “移除有可能帮助其他 AI 开发者加速研发的机密信息”[1]。部分删节内容本身很难在不泄露敏感信息的前提下清晰描述。我们在下文【流程细节】章节附上一张表格,列明哪些关键证据可以公开讨论、哪些无法披露。所有对结论至关重要的删节内容,都会在该表格或正文随文说明中予以覆盖。

我们看到的大部分被删证据,本身存在多种合理解读;METR 与 Anthropic 的研究人员都很难把这些证据整合为一套完整、确定的图景。这使得公众无法自行研判证据、和其他来源信息交叉比对、形成独立判断(也就是说,这份报告没有达到我们评估框架所要求的透明度标准)。因此,对于这份报告所回答的重大问题,公众不得不更多依赖 METR 的判断,而这并不是理想状态。

执行摘要

2026 年 8 月 12 日至 10 月 29 日,METR 团队在 Anthropic 开展高权限评估,目标是衡量 AI 系统在多大程度上加速了 AI 自身的研发。[2] 如果 AI 系统能够显著加速下一代 AI 的开发,有可能引发递归自加速风险(相关论文:https://arxiv.org/abs/2609.36054)。

Anthropic 向我们开放了前所未有的内部研发流程数据,包括预训练、强化学习(RL)相关各类指标、各领域训练算力、内部模型基准分数、AI 加速分析、未来模型指标预测,以及相关研发人员访谈记录。

在第一部分【我们关于风险的结论】中,我们目前的判断如下: 截至 2026 年 10 月,Anthropic 在定义清晰的任务上,模型能力迭代速度大约是 2024 年 3 月 —2025 年 10 月历史速度的两倍;该估算存在很高不确定性,真实加速倍数有可能接近 1.3 倍或 3 倍。

当前加速成果中的大部分,大概率来自 Anthropic 大规模使用 AI 辅助研发;但不确定性依然很大,2025 年末的加速里,其他因素也起到了重要作用。

我们暂未观测到明显瓶颈或强收益递减效应,这意味着存在显著风险:后续能力提升可能进一步放大加速效应;当然,我们也有可能漏掉了关键约束瓶颈。

在第二部分,我们列出部分核心发现: 自 2025 年 10 月起,以 AECI(Anthropic 版本的 Epoch 能力指数)衡量的模型基准得分,增长速度约为 2025 年 10 月之前的 1.9 倍(95% 置信区间:1.5–2.8 倍),意味着 Anthropic 在过去一年完成了大约两年的历史进度。

我们可以确定:这一轮加速并不是训练算力扩量加快带来的。

访谈与调研结果和 “AI 辅助让能力迭代速度翻倍” 的判断一致。Anthropic 员工在访谈和问卷中反馈,AI 带来的效率提升非常明显;但这类自我汇报数据解读难度较高。调研显示,当前研发加速主要依靠 AI 辅助,而非 AI 完全自主产出成果,但已有迹象表明,完全自主贡献的占比可能很快提升。

我们没有找到证据证明:未来 12 个月内,算法、训练算力、实验算力、数据供给会出现显著瓶颈,阻碍能力持续进步。但随着我们获取更多细节,对各类瓶颈的判断多次反转,因此我们对这个结论并不笃定。

部分支撑我们风险结论的关键证据,已被 Anthropic 删节。

第三部分,我们介绍流程细节: 本次评估的范围、安排、时间线; 向 METR 开放的信息清单; 受 Anthropic 删节限制、无法对外披露的证据。

最后,我们分析本次分析最大的局限性: 我们有可能低估能力加速:

  1. 部分证据显示增速近期还在继续抬升;
  2. AI 研发任务自动化持续推进,带来新一轮加速;
  3. AECI 增长有时会低估模型真实落地影响力。

我们也有可能高估能力加速:

  1. 把 Anthropic 研发进步里非 AI 因素的贡献低估;
  2. AECI 偏向可核验、标准化任务,有局限性;
  3. Anthropic 2023–2025 早期增速本身偏低,属于特殊阶段。

报告其余章节将详细讨论各个模块,附录包含补充材料。

我们主观的风险结论

独立于本次评估之外,METR 此前发布过评估方案,提出了一系列高层问题,我们认为公众需要理解这些问题,才能判断前沿 AI 研发的失控风险。本节将说明,本次评估看到的证据如何改变我们对这些问题的主观判断。

能力迭代速度

Anthropic 整体进步速度出现显著加速,本身是一件出人意料的事:通常收益递减、算力约束会让进步很难提速,想要提速就需要其他投入大幅增长。[3] 看完内部证据之后,团队内部仍然存在很大不确定性、观点分歧;但参与本项目的大部分 METR 研究员认为:截至 2026 年 10 月,Anthropic 在定义清晰的任务上,模型能力迭代速度大约是 2024 年 3 月至 2025 年 10 月历史速度的两倍。真实增速如果是 1.3 倍或者 3 倍,我们都不会感到意外。而这套加速倍数,映射到更宽泛、模糊的现实任务上会是什么效果,不确定性更高。

下文提到的 AECI 趋势 1.9 倍加速(95% 置信区间 1.5–2.8 倍)是支撑这个判断的重要依据;但也存在一种可能:这个结果只是对基准测试分布的过拟合,或是 AECI 测算方法本身带来的假象。另一方面,我们也不能完全信任 AECI 来衡量近期研发加速:模型数据滞后于研发进度,而且样本点比较稀疏。

除 AECI 之外,还有被删节的证据支撑我们的判断,让我们更认真看待这个接近 2 倍的加速;这些证据也提示,加速有可能高于 2 倍并且还在持续走高,不过我们认为大幅高于 2 倍的可能性不大。

加速归因:多大程度来自 AI 本身

我们排查了多种可能解释加速的因素:算力扩量、人员扩招、数据优化、算法突破、解决其他瓶颈等。 如后文所述,我们可以确定:加速不是训练算力增长加快造成的。除此之外,Anthropic 内部员工本身也没有形成共识,我们也没有找到决定性证据。我们整体主观估算:

2025 年末的加速,很可能受到非 AI 因素影响。我们排查了多种推动 2025 年末加速的因素,但很多相关细节已被删节。

我们估算:当前(2026 年 10 月)加速里,大部分(约 80%)来自 AI。这个判断不确定性很高,综合了多条 AI 贡献与其他因素的证据;我们认为 AI 的贡献占比随时间越来越重要,其他被调研因素很难解释这种持续加速。下文提到的 AI 提效证据,也和这个高贡献占比的判断吻合。

相关示意图:https://metr.org/assets/images/ai-rd-acceleration-assessment/attribution-sketch.png

关于 AI 对 AECI 增速、模型训练管线不同阶段的累计效应、即时效应的更精细估算,已被删节。

持续加速的瓶颈风险

核心担忧是:AI 带来的加速会形成复利 —— 更强的模型进一步加快研发。本次评估中,我们没有找到明确瓶颈(也就是会阻止增长的硬性资源约束),也没有看到陡峭的收益递减效应来打断这种复利式加速。但评估过程中我们对瓶颈的理解多次反转,不确定性很高。因此我们判断存在显著风险:未来一年,能力进步有可能带来更快的加速。

核心发现

本节总结完整报告中、在不泄露删节信息前提下可以公开的实证结论(【流程细节】会详细说明哪些内容被删)。

术语说明:我们用年度倍数描述增长;加速指增速的比值。 “加速 2 倍” 含义:用 1 年时间,达成历史上 2 年才能取得的进展。 举例:如果 AECI 历史增速是每年 15 分,提升到每年 30 分,就代表加速倍数为 2;也就是 1 年完成过去 2 年的进度。 如果指标是指数增长,加速倍数 = 新旧增长率之比。例如原本每年增长 3 倍,想要 1 年完成过去 2 年的进度,则增速需要达到 3²=9 倍 / 年,加速倍数写作 ln (9)/ln (3)=2。

自 2025 年 10 月起,内部模型基准得分增速约为历史两倍

以 AECI(Anthropic 自研版本的 Epoch 能力指数)衡量,Anthropic 模型基准得分自 2025 年 10 月以来加速 1.9 倍(95% 置信区间:1.5–2.8 倍)。换句话说:过去一年,Anthropic 在基准上取得的进步,大致等同于 2023 年 10 月至 2025 年 10 月(Claude 2.1 到 Sonnet 4.5)两年的进度。 示意图:https://metr.org/assets/images/ai-rd-acceleration-assessment/aeci-main.png

我们估算的加速倍数高于 Anthropic 之前材料公布的 1.7 倍,主要是因为我们纳入了尚未发布的新模型数据,后文会详细解释。

我们做了稳健性测试:调整纳入基准、模型时间口径、入选模型、基准饱和修正等参数,得到的加速区间在 1.1 倍–2.9 倍之间。我们认为真实基准增速几乎不可能没有加速,也很难高于 3 倍。详见【基准分数(AECI)】章节。

本轮加速,并非训练算力扩量提速驱动

我们拿到了可靠证据,证明加速不是训练算力规模增长加快带来的;该证据的详细内容已被删节。

访谈与问卷证据支持:AI 使用让能力迭代速度翻倍

我们从多个维度收集 AI 在训练管线各环节贡献的证据:访谈、员工自我提效反馈、人员规模、代码行数、实验用量、管理层定性反馈。下面列出三条未被删节的核心证据:

第一,METR 和 Anthropic 对大量研究员深度访谈,了解他们所在环节中 AI 带来的整体加速幅度(访谈原文见【访谈引文】)。大家给出的估算差异很大,但整体集中在 2 倍左右。部分引文(敏感信息已删)放在附录。

第二,Anthropic 提供了多渠道员工自我提效数据,最新来自 Slack 投票:员工用表情投票,估算自己使用最新模型后的提速幅度。我们认为这个证据参考价值有限:投票是低投入、非正式反馈。但可以看到,员工上报的提效幅度持续走高,2026 年 10 月最高反馈达到 12 倍。 示意图:https://metr.org/assets/images/ai-rd-acceleration-assessment/self-reported-uplift.png

注意:个人上报的提效倍数 ≠ 整体研发加速倍数。想要维持模型能力这类产出的稳定增速,通常需要人力或人力生产力持续增长,抵消收益递减;想要让整体进步速度本身加速,则需要这些投入的增速明显提升。因此我们重点关注:个人提效的增速有没有大幅变化,而不是单次上报的绝对倍数。关于需要多高的个人提效增速,才能匹配我们估算的整体加速,详细分析已被删节。

第三,就目前来看,AI 还无法在模型训练流程最核心环节做出高价值、完全自主的贡献。但研究员反馈了不少 “苗头信号”:这类自主贡献有可能很快落地,只是不同环节成熟度差异很大。

我们没有找到可靠证据证明短期会出现显著瓶颈

我们没有看到证据显示:算法进展、训练算力、实验算力、数据供给会在未来 12 个月形成硬性瓶颈。但随着我们拿到更多细节,对瓶颈状态的判断多次变化,因此我们对这个结论并不自信。Anthropic 删节了我们针对多项具体瓶颈的分析。

其他被删证据:解读难度高,但支持持续、甚至走高的加速

我们调研了训练管线关键环节的多项内部指标与加速测算方法,包括基准进步、算法效率、预训练与强化学习的模型综合实力、算力利用率、推理效率、数据效率提升。我们尝试厘清:

  • 不同版本内部指标测算方法的差异;这项调研耗时数周,也是我们最大的不确定性来源;
  • 相关团队研究员对内部证据、加速估算的判断;
  • 管线其他环节会不会造成加速估算偏差、以及可以做哪些修正;
  • Anthropic 是否存在对内部指标过拟合的情况。

这些内部证据整体支持 Anthropic 训练管线存在显著加速;部分证据提示加速可能高于 2 倍并且持续上升,但证据解读不确定性很高。

流程细节

METR 团队评估 AI 在多大程度上加速 Anthropic 的 AI 研发。

METR 评估团队(折合 2.5 个全职人力)在 Anthropic 开展本次高权限评估,目标是衡量 AI 对 AI 研发的加速效应,以及高风险前沿能力可能在多久之后出现。

Anthropic 在自身风险与安全流程(RSP)里,将 AI 研发加速列为核心风险指标。本次评估没有重点对照 RSP 里预设的阈值,而是尝试建立 AI 驱动研发加速的整体图景。

本次合作始于 8 月中旬,和 Anthropic 在 10 月 15 日发布的《独立评估者更新》是两个独立项目。

项目安排详情

METR 团队历时 11 周,独立评估 AI 对 Anthropic 研发的加速效果,评估围绕三大核心问题:

  1. Anthropic 模型能力的增长速度是否已经加快?
  2. 加速成果中,多大比例归因于 AI?
  3. 是否存在重要瓶颈,会放缓增长、限制加速?

我们同时还承担了一项任务:评审 Anthropic《2026 年 8 月风险报告》里 AI 研发板块,单独的评审报告见:https://metr.org/blog/2026-11-05-rd-section-anthropic-risk-report-august-2026-review/

最初合同范围还包含一项核验:算力在能力研发和安全方向之间的分配比例。

METR 可以自主申请任何我们认为对评估 AI 研发加速有价值的信息;Anthropic 可以单方面批准或拒绝申请。实操中我们经常和 Anthropic 团队协商,优先选取信息价值高、敏感度可控、容易开放的数据。下文列出 Anthropic 开放、以及拒绝开放的内容;总体来说开放范围超出我们预期。本次评估我们没有申请、也没有拿到非公开模型的调用权限。

注意:无论 METR 还是 Anthropic,都没有把这个项目设计成 “和正式员工同等权限”—— 也就是无中介访问数据、文档、模型。本项目不是Anthropic 那篇《独立评估者更新》描述的项目。

Anthropic 对报告里所有非公开信息拥有单方面删节权。我们单方面有权披露:

  • 本次评审、删节流程的存在与基本条款;
  • Anthropic 是否行使删节权;
  • 我们的结论是否高度依赖被删内容;
  • 本次评估获得的信息权限等级。

出于安全要求,评估全程我们在 Anthropic 设备上工作。Anthropic 提供免费 token 额度,主要用于 AI 辅助数据分析与可视化。按照我们的标准规则,METR 没有向 Anthropic 收取费用。

本次评估严格遵循 METR 的风险评估方法(https://metr.org/blog/2026-10-14-our-approach-to-risk-assessment/)。利益冲突声明、合同节选放在附录【流程透明度披露】以及 AEF-1 清单。

Anthropic 删节详情

我们一份约 100 页的完整内部报告,是为了详细回答我们此前提出的、AI 研发评估必须回答的核心问题。下表汇总我们拿到的证据,以及哪些内容可以放进公开报告:

信息类型
向 METR 开放?
可在公开报告说明结果?
内部能力测量:内部模型基准得分
是
是
内部能力测量:关键中间指标
是
否
算法进展估算
是
否
AI 贡献相关证据
是
部分
核心研发投入指标
大部分
否
瓶颈分析、未来预测
部分
否
员工访谈
是
部分

Anthropic 的删节,让我们无法对外披露:

  • 管线各环节里,加速幅度、AI 贡献占比的精细估算;
  • 算力、数据、算法分别贡献的详细拆分(唯一保留结论:加速不是训练算力扩容加快造成);
  • 评估方案里局限性问题的详细回答,这需要更多方法论细节;
  • 未来模型指标预测。

正文其余位置还有少量次要删节,我们会在对应章节尽量说明。

Anthropic 对删节的解释:“目的是移除有可能帮助其他 AI 开发者加速研发的机密信息。”

关键时间线

8 月 12 日:Anthropic 开始向 METR 提供机密材料 8 月 14 日:Anthropic 向 METR 提供无删节版《8 月 AI 研发风险报告》 9 月 12 日:METR 向 Anthropic 提交完整报告初稿 9 月 18 日:METR 提交风险报告评审初稿 9 月 22 日–10 月 22 日:METR 结合更多信息迭代风险评审报告与完整报告 10 月 22 日:METR 提交约 100 页完整报告 10 月 25 日:Anthropic 给出删节指引,如上所述 10 月 26 日:METR 提交公开报告初稿给 Anthropic 10 月 27–29 日:Anthropic 收紧删节要求,METR 随之迭代公开稿 10 月 29 日:METR 提交公开报告初稿 10 月 29 日:双方协商延期约 5 天,适配新的删节规则 11 月 3 日:METR 提交最终公开版报告

METR 拿到了大量私有数据

METR 针对 AI 研发管线全环节提出大量信息申请;Anthropic 开放的内容超出最初约定范围,超出我们预期,一般在收到申请后数日内提供。 详细数据清单被删节,摘要如下:

  • 内部模型 AECI 基准得分、配套任务样例、评分标准、智能体任务消耗;
  • 预训练、强化学习的算法效率、模型综合实力历史数据,以及算力利用率、推理效率、数据效率改进;
  • 人员规模、研发贡献归属;
  • 多维度训练算力指标;
  • 内部针对核心问题的分析文档;
  • 各团队员工 AI 提效内部调研;
  • 全公司、部分研究团队的代码行数、PR 提交记录;
  • AI 智能体推理消耗随时间变化;
  • 关于自主研发贡献的内部文档;
  • 约 15 位核心员工访谈,范围预先划定,避开极高敏感话题。

少数情况下,Anthropic 会判定信息过于敏感而不予提供。

Anthropic 也投入大量人力配合项目。我们对接的两位核心员工,是 Anthropic 内部最懂 AI 研发加速测算的研究员,高频参与讨论、收集数据、分析、反馈。

原定算力核验环节被取消

合同最初范围包含核验 Anthropic 算力分配,尤其是能力研发和安全方向之间的算力分配。但项目中途 Anthropic 调整范围,取消算力核验,只保留 AI 研发加速评估。该环节在 METR 得出任何实质性算力结论前就终止了。Anthropic 的说法:现阶段希望聚焦风险评估,后续再重新考虑算力分配核验。

局限性

下面列出我们判断证据时可能出错的方向,分为评估机制本身带来的局限、分析错误、信息缺失。

权限局限,有可能漏掉关键上下文与数据

尽管 Anthropic 开放了大量信息,但如果拥有正式员工级别的权限,评估还能深入得多。我们的信息渠道相对狭窄,部分数据申请被拒绝。如果可以随时查阅文档、旁听内部讨论、和更多元的人员持续沟通,我们的图景会更完整。虽然我们认为已经拿到绝大多数相关信息,但依然有可能因为不知道某些数据存在,或者缺少上下文而错过关键内容。

评估过程中,随着补充信息进来,我们多次推翻对核心数据的解读;我们认为更充分的权限会大幅降低这类反复,也意味着当前结论依然存在误读的可能性。

加速有可能高于报告估算值(低估风险)

  1. 我们可能漏掉新一轮持续加速:增速有可能不断走高,接近双曲增长。AECI 趋势里没有明确证据,但被删节的其他证据提高了这个可能性。如果是双曲增长,我们会低估当下的即时加速,并且严重低估短期未来增速。另外,模型指标要等训练完成之后才会产出,我们观测到研发加速存在滞后,滞后时长大约等于模型训练周期。
  2. 自动化落地时间可能早于我们预估:AI 目前还不能大规模自动化训练管线核心环节,但已经出现 “苗头信号”。一旦人力瓶颈被消除,自动化可能带来极快的加速。
  3. AECI 可能低估真实落地影响力:基准得分和现实影响之间的关联数据很少。举例:数学类基准增速没有明显加速,但现在模型已经解决了困扰人类数十年的千禧年难题。真实影响力往往在跨过某个能力阈值之后突然爆发,很难预测。

加速有可能低于报告估算值(高估风险)

  1. 非 AI 因素或许才是加速主因:有可能大部分甚至全部加速来自 AI 之外因素。如果属实,我们就没有理由预期未来持续高速增长、持续加速。
  2. 加速只局限于标准化任务:我们的证据大多衡量自动打分、易于评判的清晰任务。如果新模型在 “干净、标准化任务” 上进步远快于杂乱现实任务,对比历史增速,我们就高估了真实影响力的加速。比如,进步可能只是对 AECI 内任务的过拟合。
  3. 历史增速本身偏低,拉高了加速比值:如果 2023–2025 年 Anthropic 进步速度因为临时因素低于常态,那么我们算出来的加速倍数就虚高。在纳入全行业前沿模型对比时可以看到:2025 年前 Anthropic 模型在 AECI 上增速低于行业平均,这会解释一部分观测到的加速。

附录

方法论

本节无删节,但部分方法论描述只适用于内部完整报告。

我们纳入 Anthropic 内部未发布模型数据,包括(内部代号): 2022 未发布模型,2022 年完成训练 模型 2,2026 年 7 月完成训练 模型 3,2026 年 8–9 月完成训练 模型 4,2026 年 9–10 月完成训练

完整报告里包含对未来模型的预测,该部分已删节。

我们使用分段线性拟合识别加速。 我们一般用普通最小二乘法拟合时间趋势,自动识别一个断点;加速倍数 = 断点前后两段线性斜率之比。我们把 AECI 主拟合得到的最优断点,作为其他图表的统一断点,保证口径一致;部分分析也会单独按每个图表最优断点测算。

我们围绕三类增速开展分析:历史增速、当前增速、反事实增速。 我们想评估 AI 自动化是否推高模型能力增速。以 AECI 衡量的模型能力举例:

  • 历史增速:趋势变化之前的增长速度
  • 当前增速:2026 年 10 月的增长速度
  • 反事实增速:假设 Anthropic 完全不使用 AI,2026 年 10 月本该有的增速

前两个是可观测指标;反事实增速只能推测。示意图:https://metr.org/assets/images/ai-rd-acceleration-assessment/growth-rates-illustration.png

需要区分两个概念:AI 带来的即时加速,和AI 带来的累计加速。累计加速指:自某个时间点(例如 2025 年 10 月)之后,总进步里 AI 贡献的占比。部分访谈和文档谈的是累计加速;我们预期累计加速一般低于即时加速,因为 2025 年还有其他助推因素,并且 AI 的影响力是逐步变大的。

完整报告里用一套简单核算框架整理间接证据;相关图表和分析全部删节。 示意图:https://metr.org/assets/images/ai-rd-acceleration-assessment/accounting-framework.png

箭头指向方框,代表该方框由前面变量决定。例如预训练实力由算法、数据质量、训练算力共同决定;RL 包含预训练之外的所有能力提升。 这套框架可以从右端(能力)先判断有没有加速,再回溯一层,看预训练或 RL 环节是否加速;再往前追溯,找到驱动输入。帮助我们理解底层投入发生了什么变化。

完整报告所有分析都配套可复现的分析笔记本与看板;只要可行,图表都会标注来源标识。

基准分数(AECI)

AECI 附录概述 我们展开 AECI 主分析:

  1. 解释 1.9 倍加速的测算方法;
  2. 展示不同合理假设下加速区间:1.1–2.9 倍;
  3. 解释为什么结果和 Anthropic 之前系统卡片的 AECI 估算不同;
  4. 讨论 AECI 的潜在问题:
    • 内部基准逐渐饱和:模型 4 在所有被测 AECI 基准上得分超过 50%;但饱和问题对加速估算的影响整体可控;
    • 基准测试投入 token 可能不足,无法充分激发模型上限;
    • 少数基准上 logistic 连接函数可能设定错误。但整体来看,logistic 是合理近似。

本节删节内容很少:只删掉了具体基准名称、一张基于删节信息挑选模型子集的 AECI 图、AECI 估算的部分方法论细节。

我们基于 Epoch 开源仓库(https://github.com/epoch-research/eci-public)估算每个模型 AECI 分数;通过自助抽样、按模型分层重抽基准得分,得到 95% 置信区间。

底层数据包含同一个模型的多个快照,快照对应不同时间、不同 AECI 得分。 公开模型:我们选用公开发布快照,时间取大多数 Anthropic 员工可以使用该快照的日期。例如一个模型有 11 月 10 日内测快照、11 月 20 日内测快照、12 月 1 日对外发布,我们就取 11 月 20 日作为时间点。也可以选用最早快照,稳健性测试里包含这个口径。 未发布模型:选用内部大规模使用的快照,时间取大多数员工可以使用该快照的日期。 我们用内部可用时间,而不是对外发布时间,保证和未发布模型可比;这个口径算出来的加速会略高一点,因为 Anthropic 新版本模型会在内部留存一段时间再对外发布。

趋势拟合:对前沿模型的每个快照等权重最小二乘拟合;置信区间只考虑每个模型 AECI 得分的抽样不确定性,不包含入选模型集合带来的抽样不确定性。 我们拟合出一个断点,主设定里断点为 2025-10-07;稳健性测试统一沿用这个断点,方便对比。

稳健性测试:连接函数不同,加速区间 1.1–2.9 倍 AECI 假设模型在基准上的得分是模型潜在能力的函数,默认采用 logistic 连接函数(图中黑线),等价于假设基准内任务难度对称分布、尾部指数衰减。probit、cauchit、互补 log-log、log-log 对应不同难度分布假设。

连接函数
任务分布直观假设
加速倍数
样本外 R²
标准 logistic
难度对称分布,指数衰减尾部
1.9x [1.5–2.8]
87.2%
probit
简单、困难任务的尾部都更短
1.8x [1.3–2.7]
87.1%
cauchit
简单、困难任务的尾部都更长
2.8x [2.0–4.1]
86.1%
互补 log-log(左长尾)
简单任务很多
1.1x [0.8–1.5]
87.1%
log-log(右长尾)
存在少量极难任务
2.9x [2.1–4.9]
86.9%
学习型连接函数(Stukel 双尾)
两端尾部由数据拟合
2.6x [1.8–4.1]
87.0%

除 cauchit 之外,各连接函数拟合质量接近,我们没有先验理由优先选某一个;主结果沿用 Epoch 和 Anthropic 默认的 logistic。

稳健性:快照选择,加速稳定在约 2 倍

  • 标准 AECI(大规模内部使用快照):1.9x [1.5–2.8]
  • 每个模型只取最高分快照:1.9x [1.4–2.8]
  • 每个模型只取最早快照:2.2x [1.3–3.2]
  • 特定子集模型(删节原因):1.9x [1.4–3.3]
  • 全部快照:1.9x [1.4–2.6]

稳健性:基准集合调整,加速稳定在约 2 倍

  • 标准 AECI:1.9x [1.5–2.8]
  • 去掉视觉基准(OSWorld、MMMU 等):2.2x [1.7–3.5]
  • 只保留和 AI 研发相关的基准(去掉多语言 MMLU、诚实度基准等):2.0x [1.5–2.9]
  • 剔除 AECI 越高、得分反而下降的基准(疑似异常基准):1.9x [1.6–2.8]
  • 剔除 logistic 拟合 R² 低于 50% 的基准:1.9x [1.4–2.6]
  • 基准分数到 85% 之后不再纳入(饱和修正):1.9x [1.4–2.3]

稳健性:正则化调整,加速稳定在约 2 倍

  • 标准 AECI:1.9x [1.5–2.8]
  • L2 正则缩小 10 倍:1.9x [1.4–2.8]
  • L2 正则放大 10 倍:2.1x [1.6–3.0]
  • 完全去掉正则:1.9x [1.4–2.8]
  • L2 先验向线性趋势对齐,而不是向 0 对齐:1.9x [1.4–2.8]

稳健性:纳入全行业模型,AECI 测算加速会更低 如果把所有前沿厂商模型一起放进 AECI 趋势里,估算的加速会更低。 示意图:https://metr.org/assets/images/ai-rd-acceleration-assessment/aeci-all-developers.png

这条趋势的历史段主要由非 Anthropic 模型构成,近期段主要由 Anthropic 模型构成。两种解读:

  1. 2025 年 Anthropic 模型本身弱于前沿,早期进度被低估,因此 1.9 倍偏高,真实值更接近 1.4 倍;
  2. Anthropic 模型对基准的过拟合程度低于其他厂商,早期趋势被高估,1.4 倍偏低,1.9 倍更贴近真实。

新增内部模型数据,更支持 “趋势斜率永久抬升”,而不是 Mythos Preview 一次性跳变。 Anthropic 之前系统卡片的猜想:Mythos Preview 是一次性能力跃升,之后回到原有增速。新增内部模型数据显示,永久斜率抬升的假说更合理。 示意图:https://metr.org/assets/images/ai-rd-acceleration-assessment/jump-vs-slope-change.png

和公开估算对比 示意图:https://metr.org/assets/images/ai-rd-acceleration-assessment/estimate-comparison-grid.png 行代表(A)ECI 校准方式(基准选择、模型集合等);列代表把分数转成加速的方法(模型子集、时间口径等)。 核心差异:Anthropic 最新 Haiku 系统卡片给出 1.7 倍,我们 1.9 倍,差异来自纳入了 Anthropic 未发布内部模型;我们和 Epoch 公开 ECI 的差异,来自只选取 Anthropic 模型做趋势、并且纳入内部新模型。

模型 4 在全部被测基准上得分 > 50% 示意图:https://metr.org/assets/images/ai-rd-acceleration-assessment/benchmarks-log-odds.png 图中是前沿模型 AECI 对应的基准得分(log-odds 尺度,logistic 假设下应该和潜在 AECI 线性)。高亮线是模型 4 用到的 15 个基准。值得注意:9 个月前 Opus 4.6 还有大量基准得分低于 50%;现在已经缺少对模型 4 足够难的基准,这让我们对未来 AECI 测能力的可靠性感到担忧。

大部分模型 4 用到的基准,在 log-odds 空间里线性关系尚可。 AECI 的一个风险:logistic 假设任务难度指数尾部;如果任务难度是厚尾分布,从 98% 到 99% 的提升,需要的 AECI 增量会远大于 80%→90%。厚尾假设下,cauchit、log-log 连接函数得到加速 2.8 倍、2.9 倍。

我们做了任务难度线性检验:对 15 个基准,分别看 AECI 和基准 log-odds 得分的线性关系。 示意图:https://metr.org/assets/images/ai-rd-acceleration-assessment/benchmark-linearity.png 其中 3 个基准拟合明显偏平或下凹,提示厚尾效应。去掉这 3 个异常基准重新测算,模型 4 得分从 178.6 小幅上升到 179.7。因此我们认为厚尾会小幅压低加速估算,但幅度不大。

基准测试 token 投入可能不足 基准测试投入 token 偏低,有可能低估后期模型能力:如果早期模型在增加 token 投入后很快饱和,而新模型可以持续从更多 token 里获益,就会低估增速。 Anthropic 向我们提供了 AECI 基准测试 token 消耗数据:常规任务单次尝试约 250 万输入 token、7.2 万输出 token;智能体代码基准单次约 1000 万输入、9.4 万输出 token。 对比参考:Epoch 公开基准(GPQA、AIME、SWE-bench)常规任务约 50 万输入、1 万输出 token;SWE-bench 智能体任务约 100 万输入、0.8 万输出 token。METR 自研长软件基准,单次约 65 万输出 token;但统计口径不一定可比。

我们也希望看到每个模型的 “投入 - 得分收益曲线”:不同 token 预算下的得分。Anthropic 系统卡片在部分基准里放出过收益曲线。近期案例证明,超大推理算力可以攻克极难问题(OpenAI Navier-Stokes)。我们粗略判断:如果提升 token 投入,模型 AECI 得分会小幅上涨;但这个收益对新旧模型差异不大,所以加速倍数估算基本不变,当然这个判断没有仔细验证,也存在新模型 token 缩放收益更强的可能性。

基准加速不一定等价于现实影响力加速 我们最终关心的是模型真实价值、潜在影响,而不是基准分数。如果现实影响力和基准分数平滑相关,AECI 加速就对应同等的现实影响力加速。[5]

但存在两种偏离:

  1. 现实影响力是基准分数的凸函数:影响力取决于跨过某个能力阈值。此时 AECI 增速平稳,但现实影响力会突然爆发,AECI 低估加速;例如网络安全、数学领域的突破速度。
  2. AECI 只覆盖一部分能力,这些能力在现实场景收益递减:基准加速,但现实价值不再加速,AECI 高估加速。

总体来说,我们确信基准得分增速至少有温和加速;但 AECI 增速和现实影响力之间的映射关系存在很大不确定性。

AI 提效证据

有大量证据证明 AI 带来研发提速。 我们定义 AI 提速倍数:员工 / 团队使用 AI 之后产出 ÷ 不使用 AI 的产出;产出本身很难精确定义、衡量。

本节结论:有证据证明存在很高提速,但精确幅度高度不确定; AI 完全自主贡献目前还不是整体进步的主要来源,但短期有可能成为重要力量。

本节删节内容:和训练管线特定环节强绑定的提速证据、以及这些证据和各环节加速估算的关联讨论;还有一条 Anthropic 推理算力用量的描述(按算力定价,我们认为参考价值有限,故删)。研究员引文里敏感细节也被删。

非正式自我提效反馈持续走高

Anthropic 收集了多渠道员工上报 AI 提效,最新来自 Slack 投票:员工用表情反馈,估算自己使用最新模型的提速。我们认为这个证据参考价值弱:投票样本不代表全体员工、思考投入浅;过往研究也显示员工自我上报提效经常偏离真实生产力。 但趋势稳定向上:2026 年 10 月,员工对最强内部模型上报平均提效约 12 倍。 示意图:https://metr.org/assets/images/ai-rd-acceleration-assessment/self-reported-uplift.png

图里包含对数线性拟合、超指数拟合;上报倍数持续上涨,但外推难度很大。

访谈整体支持 AI 带来 2 倍增速

METR 和 Anthropic 访谈多名研究员(访谈原文见【访谈引文】)。我们用 Claude 对访谈笔记编码,判断该研究员是否认为在自己负责的环节,AI 带来 > 2 倍加速(对比无 AI 状态)。 编码结果: 支持:2 人 倾向支持:3 人 边界 / 模糊:4 人 倾向不支持:0 人 不支持:2 人

注意:不同受访者理解的问题不一样,有的谈累计加速、有的谈即时加速;有的谈个人效率、有的谈全团队。

编码提示词: “阅读全部访谈标签和文档【删节上下文】,整理表格,一行一位受访者,汇总全部引文,再加一列:该研究员是否认为 Claude 在他负责的环节带来> 2 倍加速。”

访谈引文

受访者
引文
是否支持本环节 Claude 带来 > 2 倍加速
A
“完全可以认可超过 2 倍提速。”“我的内部判断:模型加速是最大影响因素。”“AI 带来的加速,大于其他所有因素之和。”“现在瓶颈只剩下想法和算力,代码不再是瓶颈。”“我完全认可 1 年完成过去 2 年的进度,4 倍也不是离谱的猜测。”“‘大家只是更努力了’这个说法有一定道理,但我认为主体是新模型。”“从想法到实验的周期缩短约 80%;剩下 20% 来自减少错误、可以低成本做精细测量。”“Opus 4.5/4.6 带来一轮明显提升,Mythos Preview 带来更大提升。”
是
B
“我很难不认为自己生产力提升了 3 倍。感觉就像带了博士后、研究生一起推进大项目;最简单的解释就是 Claude,至少从我个人视角看是这样。”
是
C
“我认为这是最大因素。大家展示实验的时候,经常直接贴一段智能体脚手架对话记录。实验开销快速趋近于零。”“Mythos Preview 之前,CC 在 Opus 4.5 阶段已经可以实现大部分想法。”
倾向支持
D
“现在做【删节】实验容易太多,以前一个想法要 1–2 天实现,现在几乎零成本。以前大家不会试这类想法,因为成本太高。”“我个人认为提升非常大,我现在愿意尝试远更多想法。”“Opus 4.5/4.6 之前几乎没有提升;Opus 4.5/4.6 小幅提升;Mythos Preview + 智能体脚手架带来大幅提升。我觉得我们才刚刚全面切换,斜率还会继续抬升,出现拐点。”
倾向支持
E
“我真心觉得 Claude(Claude Code、智能体脚手架)作用很大。很多有潜力的方向,完全是因为大家可以批量丢 10 个想法给智能体脚手架试错,才被发现。”“很多研发工作本质是实现、运维;Opus 4.5 的 Claude Code 已经很擅长这块,只是还做不到端到端自主。”
倾向支持
F
“斜率变化里,50–80% 是 Claude 带来的。”“对管理者来说变化尤其明显:Claude 帮管理者充分验证想法,说服团队;在管理 10 个人的时候,我原本根本做不到这件事。”(转述)
边界模糊
G
“拐点和体感一致。两大贡献:Claude 自动化、人员扩招。”(转述)“Claude 让研究员可以同时试大量方向,大部分都会失败。”(转述)
模糊
H
“确实,现在我们可以同时跑更多实验,因为 Claude 化了。”
模糊
J
“Opus 4.5 之前:Claude 对自主代码没用;Opus 4.5:第一次可以写自主代码;Mythos Preview + 脚手架:第一次可以自主跑实验。”
模糊
K
“我认为扩招才是最大原因。”
不支持
L
“估算 15–20% 来自 AI。我不相信自我上报的生产力提升。”“我更倾向的解释:【删节非 AI 因素】。”“Opus4.5 写代码不行;Opus4.6 能写一点;Mythos Preview 是明显拐点;模型 2 又是一大步。”“Claude 确实带来加速,到年底增速还会更快;但我的归因判断:主体不是 Claude,不确定性依然很高。”“软件工程层面的提速非常显著,2025–2026 之间这个差异很明显。”
不支持

对抗稳健性

我们评估本次评估本身是否具备对抗稳健性:也就是 Anthropic 能不能系统性误导我们,让我们得出错误结论。

稳健性弱点 1:数据主要来自两位 Anthropic 核心员工大部分数据由这两位对接人提供;但我们额外访谈了约 15 位其他员工,访谈对象由我们挑选,不是 Anthropic 指定。我们没有发现对接人说法和其他受访者矛盾。如果是刻意造假,难度很高。

稳健性弱点 2:大量分析依赖 ClaudeClaude 参与了本次评估的大量环节:我们拿到的大部分数据整理、文档撰写、METR 自己的分析,都有 Claude 深度参与。理论上 Claude 可以扭曲我们对数据的感知。 但我们对照访谈记录核查,没有发现系统性偏向。我们认为这个风险不大。

总体判断:Anthropic 主动刻意误导我们的可能性极低。但更高权限,会进一步提升对抗稳健性。

流程透明度披露

利益冲突声明

项目选人时,我们执行了当时生效的利益冲突政策(https://metr.org/coi-policy-v1-0.pdf)。 项目初期,一名参与评估的 METR 成员正在和 Anthropic 洽谈岗位,收到 offer 之后拒绝入职;该成员同时持有竞品公司股权(前员工)。因此我们要求:该成员产出的所有评估内容,必须由另一名无利益冲突的成员独立复核,复核人对准确性负责。 2026 年 10 月 9 日后生效的新版利益冲突政策:遇到这类情况直接要求回避。

参与项目的 METR 人员,没有人持有 Anthropic 股权。我们的政策要求:如果评估人员持有标的公司股权,必须回避。(一名即将入职的 METR 员工持有 Anthropic 股权,不在本次评估团队内)

我们认为不存在其他利益冲突,让一个理性第三方有理由严重质疑本次评估可信度。

其他披露

AEF 透明度政策要求我们披露合同约束、删节规则,以及其他可能影响报告产出的非正式因素。为减轻非正式压力,我们希望放出足够证据让公众独立判断;但本次删节让这点很难实现。按影响从高到低排序:

  1. 对和其他厂商谈判、未来合作的影响:这类评估是厂商自愿合作。如果我们因为权限不足、删节问题过度批评 Anthropic,会降低 Anthropic 和其他厂商未来和 METR 合作的意愿。因此我们的取舍:尽量不去打击厂商 “开放证据之后再删节细节” 的意愿;对删节的局限,重点描述它如何影响我们核心结论和不确定性,而不是过度展开流程细节,避免厂商以后不敢开展探索性合作、不敢在项目中迭代、发现新问题。
  2. 收到反馈后做清晰度修改:尤其是风险报告评审稿,我们根据 Anthropic 反馈修改表达,降低被恶意曲解的空间。部分反馈语气很强硬,但 Anthropic 愿意听取我们的意见。我们不认为最终评估结论被扭曲。

合同核心条款摘要

评估范围METR 独立评估 AI 系统在多大程度上自动化、加速 Anthropic 的 AI 研发。

访问权限Anthropic 义务:提供合理评估所需的访问权限、对接人、协助安排问卷访谈;可以拒绝投入过高、或不符合信息审核标准的申请,但需要说明理由、描述被拒内容、尽量提供替代方案。 评估人员权限:合同里约定了合作最低权限;最终开放权限见【流程细节】。 信息审核:Anthropic 一般 3 个工作日内答复信息申请,提供对接人。

发布权限对外宣传:双方未经对方同意,不得对外发表关于本协议的声明;但都可以披露合作存在、合作性质(独立 AI 研发与算力分配评估)。 METR 发布权:METR 需要把拟对外公开结论提交 Anthropic 预审;Anthropic 可以要求删节机密非公开信息,双方友好协商,Anthropic 拥有最终删节决定权。METR 可以随时提交修改后的内容重新审核。 无需二次审核即可发布:已审核通过的公开表述、公开信息、之前已获批内容、模型 / 文档公开后可以从中推导的信息、METR 自己的分析评论。 Anthropic 可以要求短期推迟发布,受少量例外约束。

透明度永久披露项(不受删节限制):

  • 评审、删节流程存在与基本条款
  • Anthropic 是否行使删节权
  • 结论是否高度依赖被删内容
  • 本次评估拿到的权限等级
  • 保密框架

交付物

  1. 无删节完整报告,交付 Anthropic,覆盖全部约定范围
  2. METR 内部版完整报告(Anthropic 轻度删节,供 METR 内部传阅;受时间限制,本次没有产出)
  3. 公开结论稿,经过 Anthropic 删节审核

独立性与利益冲突

独立性:METR 独立得出结论,不会因为 Anthropic 在财务、运营、管理上依附 Anthropic;METR 最小化利益冲突,在面向公众、监管方的报告里披露相关冲突;METR 也可以评估其他厂商。Anthropic 不会以损害评估独立性的方式干预结论;METR 保留方法论、结论的最终决定权。

费用:双方互不支付费用;Anthropic 给评估人员免费 token 额度,各方自行承担自身成本。

AEF-1 最低操作条件清单

引用 AI 评估者论坛(AEF)最低操作条件:https://aievaluatorforum.org/initiatives/minimum-operating-conditions 和 METR 2026 年 2–3 月风险报告的 AEF 清单对照(报告第 67 页)。

条目
说明
是否满足
备注
1 保障充足访问与资源



1.1 评估者获得评估目标系统特性所需的充分技术访问
否
子项仅强制要求 1.1.1(调用权限)。METR 评估人员没有拿到未发布模型的调用权限,因此标记不满足;但本次评估并不依赖模型调用,这个条目对本次评估适配度有限

1.1.1 评估者可调用模型
否
METR 评估人员没有申请调用权限,因为我们判断对本次评估不是必需

1.1.2 评估者可访问系统脚手架
不适用


1.1.3 评估者可绕过安全防护
不适用


1.1.4 评估者可访问中间状态
不适用


1.1.5 评估者可微调模型
不适用


1.1.6 评估者可访问权重
不适用


1.1.7 其他辅助验证工具
不适用


1.1.8 可访问相关用户数据
不适用


1.2 建议:厂商向评估者提供可信评估所需信息
是
如前文所述,Anthropic 按需提供信息

1.3 评估者拥有足够算力完成评估
是
本次评估不需要 METR 侧大规模算力

1.4 评估者拥有充足时间
是
项目从 4 周延期至 11 周(8.12–10.29)

1.5 建议:厂商提供法律安全港
未申请


2 最小化利益冲突



2.1 评估者不收取和评估结果挂钩的报酬
是
METR 没有收费;Anthropic 提供设备、token 额度

2.2 厂商不对评估者拥有组织、财务控制权
是


2.3 评估者发布并执行利益冲突政策
是
项目启动时执行旧版,之后更新新版

2.4 评估者清晰披露相关利益冲突
是


2.4.1 是否被厂商 / 竞品付费开展评估
否


2.4.2 评估者资金是否很大一部分来自厂商、员工、竞品
否


2.4.3 厂商 / 员工 / 竞品是否持有评估者股权
否


2.4.4 评估执行人员是否持有厂商或竞品股权
是
见利益冲突章节,有隔离复核措施

插图



【声明】内容源于网络
0
0
苏哲管理咨询
为企业及组织提供AI+战略、数智化转型咨询及观点、建议等
内容 2542
粉丝 0
苏哲管理咨询 为企业及组织提供AI+战略、数智化转型咨询及观点、建议等
总阅读97.5k
粉丝0
内容2.5k