大数跨境

AI 写代码时代,测试工程师的新抓手在哪?

AI 写代码时代,测试工程师的新抓手在哪? 51Testing软件测试网
2026-10-23
5
导读:哈喽,宝子们,当 AI 开始写代码,测试和质量保障的抓手在哪里?大家的第一反应通常是:测 AI Agent。 方向没错。但只盯着 Agent 本身,会漏掉一个更根本的问题:围绕 Agent 的那条工作
点击蓝字,关注我们

 

哈喽,宝子们,当 AI 开始写代码,测试和质量保障的抓手在哪里?


大家的第一反应通常是:测 AI Agent。 方向没错。但只盯着 Agent 本身,会漏掉一个更根本的问题:围绕 Agent 的那条工作流,本身有没有被当作一个可以审视的对象?


打个比方。传统测试里,我们不只测“被测系统”,还要验证测试环境本身是否可靠——桩搭对了没有,驱动跑通了没有,隔离是否干净。AI 编码时代也一样:Agent 可以独立交付被测系统、Demo、评估报表,但如果交付过程本身不可复现、不可审计、不可验证,最终产物再漂亮,也只是“它说能用”。


Qoder 开源的 Better Harness,切的就是这个位置。它不是来替 Agent 写代码的,而是给 Agent 的工作流做一次完整体检。

一、什么是 Agent Harness?

很多人会把 Harness 直接理解成自动化测试框架,但在这套体系里,Harness 的含义更广:它是支撑 Agent 完成任务的整套运行外壳,包含任务目标定义、执行边界约束、可用工具清单、校验规则、失败处理策略、证据留存机制、反馈回路等一整套规则集合。


简单拆解,一份合格的 Harness 要回答这几件事:

  1. 目标:这次任务要产出什么,哪些是允许改动的,哪些是红线;
  2. 路径:Agent 允许调用哪些工具、按什么样的步骤推进;
  3. 校验:用什么方式验证结果是否达标,有哪些必须覆盖的检查点;
  4. 证据:每一个关键结论、每一处修改,需要留下什么样的溯源信息;
  5. 兜底:校验失败、工具报错、结果冲突时,应该重试、回滚还是终止任务。


Harness 就是给自由奔放的 Agent 套上一层可控的框架。之前的文章我们有详细介绍过,没有 Harness 约束的 Agent,很容易陷入 Vibe Coding:凭感觉生成代码,过程不可复现、校验缺失,只要页面能跑就宣告任务完成,很多隐藏问题被掩盖。


而 Better Harness,就是一套开源的、面向 Coding Agent 的 Harness 评估工具,MIT 协议开源,支持 Qoder、Cursor、Claude Code、OpenAI Codex 多款主流编码智能体,用来分析 Agent 的会话记录与工程产物,自动识别 Harness 薄弱项,输出带证据支撑的优化报告。

二、Better Harness 到底在检查什么?

Better Harness 的分析对象不是代码语法对不对,而是Agent 的工作循环本身是否健壮,它重点瞄准业内普遍存在的五类痛点:

  • 目标模糊:Agent 理解偏差,自信满满地解决了一个错误问题;
  • 流程即兴:执行步骤没有固定规范,每次任务路径完全不一样,无法复现;
  • 校验缺失:只看表面“能运行”,缺少自动化校验、边界用例、数据核对;
  • 绕过防护:为了快速交付,跳过项目规范、安全检查、评审卡点;
  • 经验沉淀断层:这次踩的坑,下一次 Agent 继续踩,没有持续迭代机制。


它拿到工程代码 + Agent 完整会话证据之后,会从多个维度打分评估,产出带优先级的问题清单,典型检查项包括:

  • 任务开始前,是否明确了验收标准与禁止修改范围;
  • 任务执行中,有没有按约定执行自测、构建、类型检查;
  • 关键数据、计算逻辑、业务规则,是否保留可溯源的证据;
  • 异常场景、边界输入有没有被覆盖;
  • 遇到报错时,是按策略回滚重试,还是直接忽略错误继续推进;
  • 项目规范、脚本命令、目录分层约定有没有被遵守。


举个和前面 Sites 案例对应的例子:让 Agent 生成一份团队采购成本计算器。 如果没有好的 Harness,Agent 做出页面,数字能点、能切换,就认为交付完成;但它可能没有校验最低席位限制、年付月付口径混淆、企业询价方案私自填充价格。


而完善的 Harness 会提前约定:价格必须绑定官方来源、不可编造未知数据、成本计算要单独抽离纯函数、自动校验 5/20/50 人边界场景、计算逻辑单独留测试用例。


Better Harness 就会去核查:Agent 是否遵守了这套校验约定,有没有省略验证,事后用 linter、测试、Hook 观察结果并帮 Agent 自我纠正。它追求的不是“这次过了”,而是“下一个任务比这次更可靠”。

三、测试视角:我们能用它做什么?

对测试和质量保障同学来说,Better Harness 提供了一个把质量抓手从“产物”前移到“过程”的入口。

抓手一:把质量门禁嵌入 Agent Loop,而不是等在终点拦截

传统测试在 PR 或发布前设卡;但在 Agent 高频修改代码的节奏下,终点拦截太慢了。测试可以借助 Harness 的分层思路,在 Agent 修改后触发快速门禁(Lint、类型检查、关联单测),任务完成前跑集成与回归,PR 阶段再由 CI 做全量验证。Better Harness 检查的“变更验证”维度,本质上就是在追问:这些门禁有没有真的进入 Agent 的工作循环?

抓手二:审计证据链,而不只是看测试报告

一个测试“通过”了,不代表 Agent 真的执行了有意义的验证——它可能只修了表面问题,甚至修改测试来制造绿色结果。Better Harness 的证据链要求把“谁声称完成”“什么证据支撑”“验证方式是什么”串起来,测试可以借此从“看结果”升级为 “审证据”。

抓手三:把重复摩擦变成可复用的质量资产

如果同一个验证步骤在多个任务中反复依赖人工提醒,Better Harness 会把它识别为值得沉淀的环节,建议转化为 Skill、Hook、脚本或规则。测试同学最擅长的就是把“每次都手工做一遍的事”变成可重复执行的检查——Harness 给了这件事一个 Agent 工作流层面的触发机制。

抓手四:用历史趋势确认改进是否真的落地

Better Harness 支持多份报告之间的纵向比较,展示五个维度的变化趋势。注意,它明确说了这只反映趋势,不证明因果——但这恰恰是测试思维该有的克制:改进有没有发生,靠可比证据说话,不靠感觉。

四、如何快速上手

Better Harness 的使用门槛不高,在 Qoder 客户端内可以直接调用,也可以独立作为开源工具接入其他 Agent 平台。


访问 Better Harness 的 GitHub 仓库 (https://github.com/QoderAI/better-harness) 按照 README 安装并运行第一次 /better-harness。诸如 Claude Code 用户可以依次执行:


核心入口命令:


   
   
   
   
    
   
   
   
   /plugin marketplace add QoderAI/better-harness
/plugin install better-harness@better-harness


然后运行:


   
   
   
   
    
   
   
   
   /better-harness 分析我项目的 Harness 情况,生成 HTML 报告

执行之后,它会读取当前项目代码、本次 Agent 会话的完整证据,自动生成结构化评审报告,标注风险点、给出改进建议,同时附上对应的证据链路,方便定位问题。


报告里会区分问题优先级,优先修复那些容易造成结果失真、校验缺失、边界遗漏的高危项,而不是纠结代码风格这类次要问题。

五、总结

AI Coding Agent 的竞争,正在从“能不能写出代码”,慢慢转向“能不能稳定、可信、可控地完成复杂工程任务”。


Agent 的生成能力越来越强,Sites 这类能力进一步降低了上线分享的成本,未来会有越来越多的原型、内部工具、评估系统直接由 Agent 生成。如果质量体系还停留在“人工肉眼核对页面”,很快就会跟不上交付速度。


Better Harness 代表了一个很重要的思路转变:质量管控不只是校验产出,还要治理 Agent 的工作循环。给 Agent 建立清晰的 Harness 约束,持续审计、迭代这套约束,让 Agent 的每一次交付都自带校验证据,这也是测试人在 AI 时代可以深耕的方向。


讨论话题(任选其一留言)

话题1:你觉得在团队里,哪些产出适合交给 Agent 自主生成,哪些场景无论如何都不能只靠 Agent 交付,必须人工深度介入评审?

话题2:如果给 Agent 写好完备的自动化用例,是不是就可以替代 Harness 这套对 Agent 执行过程的约束体系?

话题3:如果你们团队打算引入 Better Harness 这类工具做 AI Coding 质量审计,你认为第一个拿来试点的场景选什么最合适?会担心遇到哪些落地阻力?


欢迎评论区留言,小编会在下下周一(2026 年 11 月2 日)下午,选取1位“关注+点赞+留言”的幸运用户,送出《HarmonyOS应用开发实战》1本,快来评论区互动吧~

 


图片
END




图片
点点赞
图片
点分享
图片
点推荐

【声明】内容源于网络
0
0
51Testing软件测试网
博为峰51Testing软件测试网提供各种线上招聘、线上课程等网络服务,出版软件测试系列丛书及电子杂志,组织线上技术交流活动;同时还举办多种线下公益活动,如软件测试沙龙、软件测试专场招聘会等。
内容 3978
粉丝 0
51Testing软件测试网 博为峰51Testing软件测试网提供各种线上招聘、线上课程等网络服务,出版软件测试系列丛书及电子杂志,组织线上技术交流活动;同时还举办多种线下公益活动,如软件测试沙龙、软件测试专场招聘会等。
总阅读5.4k
粉丝0
内容4.0k