哈喽,宝子们,当 AI 开始写代码,测试和质量保障的抓手在哪里?
大家的第一反应通常是:测 AI Agent。 方向没错。但只盯着 Agent 本身,会漏掉一个更根本的问题:围绕 Agent 的那条工作流,本身有没有被当作一个可以审视的对象?
打个比方。传统测试里,我们不只测“被测系统”,还要验证测试环境本身是否可靠——桩搭对了没有,驱动跑通了没有,隔离是否干净。AI 编码时代也一样:Agent 可以独立交付被测系统、Demo、评估报表,但如果交付过程本身不可复现、不可审计、不可验证,最终产物再漂亮,也只是“它说能用”。
Qoder 开源的 Better Harness,切的就是这个位置。它不是来替 Agent 写代码的,而是给 Agent 的工作流做一次完整体检。
一、什么是 Agent Harness?
很多人会把 Harness 直接理解成自动化测试框架,但在这套体系里,Harness 的含义更广:它是支撑 Agent 完成任务的整套运行外壳,包含任务目标定义、执行边界约束、可用工具清单、校验规则、失败处理策略、证据留存机制、反馈回路等一整套规则集合。
简单拆解,一份合格的 Harness 要回答这几件事:
-
目标:这次任务要产出什么,哪些是允许改动的,哪些是红线; -
路径:Agent 允许调用哪些工具、按什么样的步骤推进; -
校验:用什么方式验证结果是否达标,有哪些必须覆盖的检查点; -
证据:每一个关键结论、每一处修改,需要留下什么样的溯源信息; -
兜底:校验失败、工具报错、结果冲突时,应该重试、回滚还是终止任务。
Harness 就是给自由奔放的 Agent 套上一层可控的框架。之前的文章我们有详细介绍过,没有 Harness 约束的 Agent,很容易陷入 Vibe Coding:凭感觉生成代码,过程不可复现、校验缺失,只要页面能跑就宣告任务完成,很多隐藏问题被掩盖。
而 Better Harness,就是一套开源的、面向 Coding Agent 的 Harness 评估工具,MIT 协议开源,支持 Qoder、Cursor、Claude Code、OpenAI Codex 多款主流编码智能体,用来分析 Agent 的会话记录与工程产物,自动识别 Harness 薄弱项,输出带证据支撑的优化报告。
二、Better Harness 到底在检查什么?
Better Harness 的分析对象不是代码语法对不对,而是Agent 的工作循环本身是否健壮,它重点瞄准业内普遍存在的五类痛点:
-
目标模糊:Agent 理解偏差,自信满满地解决了一个错误问题; -
流程即兴:执行步骤没有固定规范,每次任务路径完全不一样,无法复现; -
校验缺失:只看表面“能运行”,缺少自动化校验、边界用例、数据核对; -
绕过防护:为了快速交付,跳过项目规范、安全检查、评审卡点; -
经验沉淀断层:这次踩的坑,下一次 Agent 继续踩,没有持续迭代机制。
它拿到工程代码 + Agent 完整会话证据之后,会从多个维度打分评估,产出带优先级的问题清单,典型检查项包括:
-
任务开始前,是否明确了验收标准与禁止修改范围; -
任务执行中,有没有按约定执行自测、构建、类型检查; -
关键数据、计算逻辑、业务规则,是否保留可溯源的证据; -
异常场景、边界输入有没有被覆盖; -
遇到报错时,是按策略回滚重试,还是直接忽略错误继续推进; -
项目规范、脚本命令、目录分层约定有没有被遵守。
举个和前面 Sites 案例对应的例子:让 Agent 生成一份团队采购成本计算器。 如果没有好的 Harness,Agent 做出页面,数字能点、能切换,就认为交付完成;但它可能没有校验最低席位限制、年付月付口径混淆、企业询价方案私自填充价格。
而完善的 Harness 会提前约定:价格必须绑定官方来源、不可编造未知数据、成本计算要单独抽离纯函数、自动校验 5/20/50 人边界场景、计算逻辑单独留测试用例。
Better Harness 就会去核查:Agent 是否遵守了这套校验约定,有没有省略验证,事后用 linter、测试、Hook 观察结果并帮 Agent 自我纠正。它追求的不是“这次过了”,而是“下一个任务比这次更可靠”。
三、测试视角:我们能用它做什么?
对测试和质量保障同学来说,Better Harness 提供了一个把质量抓手从“产物”前移到“过程”的入口。
抓手一:把质量门禁嵌入 Agent Loop,而不是等在终点拦截
传统测试在 PR 或发布前设卡;但在 Agent 高频修改代码的节奏下,终点拦截太慢了。测试可以借助 Harness 的分层思路,在 Agent 修改后触发快速门禁(Lint、类型检查、关联单测),任务完成前跑集成与回归,PR 阶段再由 CI 做全量验证。Better Harness 检查的“变更验证”维度,本质上就是在追问:这些门禁有没有真的进入 Agent 的工作循环?
抓手二:审计证据链,而不只是看测试报告
一个测试“通过”了,不代表 Agent 真的执行了有意义的验证——它可能只修了表面问题,甚至修改测试来制造绿色结果。Better Harness 的证据链要求把“谁声称完成”“什么证据支撑”“验证方式是什么”串起来,测试可以借此从“看结果”升级为 “审证据”。
抓手三:把重复摩擦变成可复用的质量资产
如果同一个验证步骤在多个任务中反复依赖人工提醒,Better Harness 会把它识别为值得沉淀的环节,建议转化为 Skill、Hook、脚本或规则。测试同学最擅长的就是把“每次都手工做一遍的事”变成可重复执行的检查——Harness 给了这件事一个 Agent 工作流层面的触发机制。
抓手四:用历史趋势确认改进是否真的落地
Better Harness 支持多份报告之间的纵向比较,展示五个维度的变化趋势。注意,它明确说了这只反映趋势,不证明因果——但这恰恰是测试思维该有的克制:改进有没有发生,靠可比证据说话,不靠感觉。
四、如何快速上手
Better Harness 的使用门槛不高,在 Qoder 客户端内可以直接调用,也可以独立作为开源工具接入其他 Agent 平台。
访问 Better Harness 的 GitHub 仓库 (https://github.com/QoderAI/better-harness) 按照 README 安装并运行第一次 /better-harness。诸如 Claude Code 用户可以依次执行:
核心入口命令:
然后运行:
执行之后,它会读取当前项目代码、本次 Agent 会话的完整证据,自动生成结构化评审报告,标注风险点、给出改进建议,同时附上对应的证据链路,方便定位问题。
报告里会区分问题优先级,优先修复那些容易造成结果失真、校验缺失、边界遗漏的高危项,而不是纠结代码风格这类次要问题。
五、总结
AI Coding Agent 的竞争,正在从“能不能写出代码”,慢慢转向“能不能稳定、可信、可控地完成复杂工程任务”。
Agent 的生成能力越来越强,Sites 这类能力进一步降低了上线分享的成本,未来会有越来越多的原型、内部工具、评估系统直接由 Agent 生成。如果质量体系还停留在“人工肉眼核对页面”,很快就会跟不上交付速度。
Better Harness 代表了一个很重要的思路转变:质量管控不只是校验产出,还要治理 Agent 的工作循环。给 Agent 建立清晰的 Harness 约束,持续审计、迭代这套约束,让 Agent 的每一次交付都自带校验证据,这也是测试人在 AI 时代可以深耕的方向。
讨论话题(任选其一留言)
话题1:你觉得在团队里,哪些产出适合交给 Agent 自主生成,哪些场景无论如何都不能只靠 Agent 交付,必须人工深度介入评审?
话题2:如果给 Agent 写好完备的自动化用例,是不是就可以替代 Harness 这套对 Agent 执行过程的约束体系?
话题3:如果你们团队打算引入 Better Harness 这类工具做 AI Coding 质量审计,你认为第一个拿来试点的场景选什么最合适?会担心遇到哪些落地阻力?
欢迎评论区留言,小编会在下下周一(2026 年 11 月2 日)下午,选取1位“关注+点赞+留言”的幸运用户,送出《HarmonyOS应用开发实战》1本,快来评论区互动吧~


