大数跨境

Claude Code 团队如何验证 AI 写的代码

Claude Code 团队如何验证 AI 写的代码 AINLP
2026-11-17
0
导读:写完不算完成

Claude Code 团队把大量编程和代码审查交给了 Claude,也为它建立了一套验证办法。Addy Osmani 在这篇工程文章中介绍了他们使用的测试、提交检查和评估方法,以下是全文翻译。


端到端测试、属性测试和差分测试如何让编程 Agent 用证据验证自己的工作,以及 Claude Code 团队怎样确保验证者本身也可靠。

在 Claude Code 团队,绝大多数代码(约90%)都由 Claude 编写和审查。到了这个规模,怎样让 Agent 拿出证据验证自己的工作,就变得极其重要。

验证循环是把更多工作交给 Claude 的基础。没有它,你实际上只能同时运行一两个 Claude,因为所有结果都得自己检查。有了验证循环,就可以让几十个甚至几百个 Claude 并行工作。

这是因为,让 Agent 有办法验证自己的输出,能够有效提高质量。在关于结构化文件生成的内部测试中,我们让一个独立评判者按照评分标准检查 Claude 的工作。相较于标准的提示循环,这种做法让任务成功率最多提高了10个百分点,提升最大的恰恰是最难的问题。

过去验证起来很费力的东西,比如测试、基准、规格说明和真实的端到端运行,如今都可以低成本地交给 Agent。就像写代码一样,Agent 也能很快生成测试、基准和规格说明。生成之后,测试和基准便作为软件运行,可以频繁执行,而不必再消耗多少额外的 token。

你还可以利用验证结果,改善 Agent 在这项任务上的表现,让验证形成闭环。例如,某项测试会检查日志里有没有用户数据,而 Agent 反复在这里失败,你就可以添加一个 hook,或者在 CLAUDE.md 里写一条更明确的规则,避免今后再出问题。这能在很大程度上阻止同类问题重演。

既然验证对高速产出高质量代码如此重要,到底应该采用哪些测试,又该怎样把它们用在整个开发流程中?本文会回答这些问题,也会分享 Claude Code 团队的做法。

测试各有不同 这三类值得投入

无论选择哪类测试,都有几种常见问题需要避免。

如果测试时好时坏,你就会把 Agent 训练成反复重跑测试,而不是修复出错的代码。如果测试太慢,Agent 就会减少各批次改动中的测试次数,让问题更难定位。开销较大的测试,最好放在提交改动之前执行。

下面是我认为最值得投入的三类测试。

端到端测试

如果只能重点做好一类测试,就选端到端测试。这类测试描述的是真实用户流程,比如把商品加入购物车、结账,再进入确认页面。

端到端测试之所以有效,是因为它很难被糊弄过去:整个功能要么能用,要么不能用。它有明确的完成标准,也能具体告诉你哪里出了问题。

图 A 单元测试可能只显示“错误:30秒后超时”,端到端测试则能给出截图,并说明哪里出了问题。

单元测试虽然更快,也较少出现时好时坏的情况,但即使全部通过,功能仍有可能被改坏。原因在于,Agent 和测试都没有理解完整任务。

做端到端测试时,让 Agent 能在真实运行的系统上动手、观察,效果很好。你可以用一个 skill,配合 CDP、模拟器或 API 测试框架等工具,启动、操作并检查应用。

功能清单可以充当 Agent 的操作指南和评分标准,因为这类清单通常会从用户视角列出功能,并说明访问路径、快捷键、选择器和预期结果。

属性测试 验证不可破坏的约束

许多测试依据的是你想到哪些地方可能出错。属性测试则会寻找人们容易忽略的边界情况,而 Agent 往往就栽在这些地方。

先写下一条你认为不可能被违背的断言,再用测试库生成成千上万个输入,试着推翻它。JS/TS 可以用 fast-check,Python 可以用 Hypothesis,Rust 可以用 proptest,等等。

几乎每个软件项目都有许多这样的属性,比如:

  • 往返编码:把 X 编码后再解码,应该得到原来的 X。解析和序列化也适用。
  • 不变量:必须始终成立的条件,比如“账户余额不能为负”。
  • 幂等性:同一操作执行两次,效果应与执行一次相同,例如迁移、规范化或重试。
  • 等价性:优化后的代码,应与朴素但正确的代码产生相同结果。

属性测试库会用边界情况检验 Agent,而这些输入不会带有编写原始代码的 Agent 的同一种偏差,因此很适合用来约束它。重写系统时,它们尤其有用:此时规格说明可能已经偏离生产环境的实际行为,不再是可靠的验证依据。

差分测试 以旧系统为判定标准

差分测试特别适合功能应当保持不变的大规模迁移。同一批输入分别交给旧系统和新系统运行,再检查结果是否不同。如果不同,就有 bug 或破坏兼容性的变更需要处理。

差分测试的关键,是使用随机生成的输入,或者抽样的生产流量。同时要把空白字符等无关因素规范化,并维护一份已获认可的变更清单,用于记录新环境本就应该与旧环境不同的情况。

Claude Code 团队怎样做验证

我们此前写过 Anthropic 怎样做代码审查,这里则想更深入地谈谈,我们如何验证自己的工作。

验证就是把改动跑起来

把应用从头到尾跑一遍,比测试本身更重要。你不会在模拟器里试都不试,就交付一项 iOS 改动;Claude 也一样。

Claude 可以像用户或 QA 工程师一样测试整个应用。网页改动可以让它使用 Claude Chrome 扩展,移动端可以用 iOS 或 Android MCP,桌面端可以用 computer use,后端工作则让它在本地运行服务。

要把启动模拟器或运行应用的方法固定下来,可以创建一个名为 verify 的 skill,放进仓库的 .claude/skills/ 目录,并尽量靠近相关代码。需要多少就添加多少。Claude 知道要在提交改动前使用 verify skill。

接下来,要花力气让 verify skill 足够快、足够可靠。让 Claude 反复改进它,并做压力测试。这就是你的冒烟测试框架,必须稳得住。

给 Claude 一套端到端的冒烟测试办法,结果会好得多。你会看到它像开发者一样迭代,更快发现真正的错误。在 Anthropic,我们几乎所有改动都是这样测试的。

持续失败的测试需要人工介入

没有人能读完每一项改动,所以我们会用失败来判断哪里需要人工介入。Claude 运行检查,并尝试修复所有失败项。如果三轮之后某项检查仍然失败,Claude 就会停下来,请人接手。

代码负责人编写自己的检查

负责这部分代码的开发者为它编写检查,并不断调整,直到检查能指出负责人自己也会指出的问题。某项检查需要请审查者介入时,应说明原因,而不是让对方再从 diff 里自行寻找。

根据 diff 触发可靠性检查

我们维护了一份39项的可靠性检查清单。每项都有能从 diff 中识别的触发条件、相应检查,以及背后的事故或 PR。其中一项是“--resume 加载旧会话记录”。当会话存储或消息类型发生变化时,我们会检查新增字段能否安全加载,因为旧记录里不会有这个字段。

Claude 阅读 diff,只检查触发条件匹配的项目,通常是3到10项。这样就没人需要把过去的故障都记在脑子里。

一位审查者多轮改进

我们不会靠叠加更多审查者来改善审查。在主要审查者之外,再加一个更昂贵的审查者,往往还不如把主要审查者调好。我们的办法是写一份 REVIEW.md,说明审查者面对这部分代码时应该关注什么。

我们也认为,多轮审查和验证应该相互积累。每一轮都会参考前几轮的上下文和过去的失败,而不是从头再查一遍所有东西。这样成本更低,也能发现更多问题。

改动不能修改评判自己的检查

如果一项改动能修改用来评判它的检查,这个检查就失效了。Code Review 读取的是基准分支或默认分支中的 REVIEW.md,绝不会读取 PR 改动里的版本。Claude Code 团队会确保,拦截改动的规则位于该改动无法修改的分支。

Claude Code 团队还把审查绑定到具体提交。如果审查期间又有人推送,审查结果就不再有用了。一个已经过时的提交即使通过审查,也毫无意义。

团队还会先跑成本低的检查。如果 Agent 没有在本地测试就推送,它本来可以自己发现 bug,却占用了共享的审查和 CI 资源。在我们团队,Claude 会在创建 PR 前运行测试、构建和 linter。你可以通过 hook,在 Claude 完成工作时运行测试;也可以设置 /goal,把测试套件通过作为目标。

新门禁先从观察模式开始

在我们自己的仓库中,每个提交都会标记它是怎样验证的。标记甚至包含“none”,这样就能查出哪些提交没有验证。

我们还做了一个提交门禁:如果会话中没有出现 /code-review 或 /verify,它就可以阻止提交。门禁有 off、observe 和 enforce 三种模式。

observe 模式会记录哪些提交原本会被拦截,让我们检查误报,同时不影响任何人。

enforce 模式会阻止提交。任何提交都可以在提交说明中解释为什么没有验证。如果同一个会话已经被拦截两次,下一次提交就会获准通过,免得 Claude 卡住——毕竟 Claude Code 也不完美。

用真正重要的问题检验检查

Claude Code 团队也会定期审查审查者本身。我们会跟踪多少已合并的改动后来被回退、多少改动在合并前被维护者拒绝,并选取一组规模相近、一直没有出问题的改动作为对照。

这也可以通过正式评估来做。在代码审查那篇文章中,我们介绍过 Code Review 团队如何根据过去的事故和回退建立评估集。针对每个样例,他们把仓库恢复到当时接受审查的状态,并用一句话给出 bug 的标准答案。只有正确描述了该 bug 的发现才会得分。他们用已合并且稳定的改动作为对照,防止过度报错。用于调优的数据集,与评估系统所用的固定测试集相互分开。

他们还分别评估了原始发现、验证后以及最终审查三个阶段的召回率。这样才能看清,系统是否丢掉了已经发现的 bug。只给整个流程算一个端到端分数的评估,捕捉不到这种细节。

除了问题是否成立,我们还关心另一个维度:这项改动到底有多重要。优秀的审查者能找出大多数在技术上确实成立的问题,但人们还关心,一个 bug 究竟是必须修、应该修,还是只是小瑕疵。

Code Review 采用的正是这个思路,会给问题标记 Important、Nit 或 Pre-existing。“Pre-existing”表示问题原本就存在,不应该让这次改动的作者为它负责。

最后,Claude Code 团队会不断提高召回率,直到再往前一步就成了对评估集过拟合,而不是真正在发现更多 bug。

把漏掉的问题变成规则

在 Claude Code 仓库中,我们有两种办法把漏掉的问题转成规则。第一种是从人工代码审查意见和 PR 回退中提取模式,寻找共性问题。问题必须至少在两个 PR 中出现,而且能从 diff 中识别,才会成为候选规则。随后会由三个 Agent 尝试反驳,再通过 PR 交给人工审查和批准。

第二种办法,是针对一个关联了已知事故的 PR,重新运行三个 bug 查找器。如果其中至少两个能找到这个 bug,就说明它是可以检出的。如果面对一个小 diff 仍然漏掉了它,这个缺口就值得转成 REVIEW.md 里的规则。

时好时坏的测试也会这样处理。Claude 不能跳过它们,不能添加 sleep,也不能不断重试直到通过。如果找不到根因,就删除这个测试,并记录原因。

规则本身也需要清理。只要放任不管,测试套件、验证步骤和 .md 文件就会不断增长,所以我们会定期整理。

好测试带来好结果

我们发现,让 Agent 有办法验证自己的工作,并建立强有力的反馈循环,会带来根本区别。像对待其他系统一样对待验证层:让它不受被评判改动的控制;用真正重要的 bug 衡量它;漏掉问题时记下经验,避免同样的事反复发生;也要删减这些经验,让它们始终值得执行。

做到这些,你的工作就会从阅读每一份 diff,转向定义什么叫“完成”,以及检查相应证据。这才是能同时运行许多个 Claude 的基础。

参考链接

  • 原文:https://claude.dev/blog/how-the-claude-code-team-thinks-about-verification/
  • Anthropic 如何做代码审查:https://claude.dev/blog/solving-code-review-at-anthropic/
  • 用 Skills 构建 Claude Code 验证循环:https://claude.com/blog/building-verification-loops-in-claude-code-with-skills
  • Claude Managed Agents:https://claude.com/blog/claude-managed-agents
  • Chrome DevTools Protocol:https://chromedevtools.github.io/devtools-protocol/
  • fast-check:https://fast-check.dev/
  • Hypothesis:https://hypothesis.readthedocs.io/en/latest/
  • proptest:https://proptest-rs.github.io/proptest/
  • AI 代码迁移:https://claude.com/resources/articles/ai-code-migration
  • Anthropic 如何做代码审查:https://claude.dev/blog/solving-code-review-at-anthropic/
  • 自定义 Code Review 与 REVIEW.md:https://code.claude.com/docs/en/code-review-customize
  • 自定义 Code Review 与 REVIEW.md:https://code.claude.com/docs/en/code-review-customize
  • Claude Code hooks:https://code.claude.com/docs/en/hooks
  • Claude Code /goal:https://code.claude.com/docs/en/goal
  • Anthropic 如何做代码审查:https://claude.dev/blog/solving-code-review-at-anthropic/
  • Code Review 的问题标记:https://code.claude.com/docs/en/code-review-pull-requests

【声明】内容源于网络
0
0
AINLP
一个有趣有AI的自然语言处理公众号:关注AI、NLP、大模型LLM、机器学习、推荐系统、计算广告等相关技术。公众号可直接对话双语聊天机器人,尝试对对联、作诗机、藏头诗生成器、自动写作等,查询相似词,测试NLP相关工具包。
内容 6131
粉丝 0
AINLP 一个有趣有AI的自然语言处理公众号:关注AI、NLP、大模型LLM、机器学习、推荐系统、计算广告等相关技术。公众号可直接对话双语聊天机器人,尝试对对联、作诗机、藏头诗生成器、自动写作等,查询相似词,测试NLP相关工具包。
总阅读41.1k
粉丝0
内容6.1k