什么是 Harness Engineering,为什么你应该关心?
怎样才能交付一款完全没有人工手写代码的软件产品?
今天有位朋友问了我这个问题。我发现自己给不出一个简单的答案,于是深入研究了一番。
事实证明,答案就在于你如何设计 Harness。
等等,什么?Harness Engineering 又是什么?
它会成为当下围绕 coding agent 最重要的趋势,是有原因的。如今最大的问题是:不逐行阅读 AI 生成的代码,要怎样验证它?又怎样确保智能体不会破坏生产环境,或者删掉你的数据?
OpenAI 的一篇博客分享了一项很有意思的实验:一个由 3 名工程师组成的团队,在没有人工手写一行代码的情况下,构建并交付了一款软件产品的内部测试版。应用逻辑、测试、CI 配置、文档、可观测性和内部工具——每一行代码都由 Codex 编写。
他们是怎么做到的?他们没有亲手编写应用,而是设计了 Harness。
Harness 到底是什么?
可以把 AI Agent 想象成一匹力量强大的赛马。Harness 就是赛道、眼罩和骑手手中的缰绳:它们让赛马沿着正确方向奔跑,不至于一头冲进看台。
正如同事 Arthur Thompson 今天所解释的:对于智能体而言,Harness 由包裹在 LLM 外部的所有确定性组件组成。
Balaji Subramaniam 在他的文章中详细介绍了这些确定性组件,包括编排层、执行沙箱、状态持久化和验证工具。
如果想构建可靠的智能体系统,你的工作重点就会从编写逻辑,转向设计智能体运行的环境。以下三件事尤其重要:
-
1. 设定严格边界: 不要让智能体猜测自己可以操作什么。要执行严格的访问规则,例如将它限制在特定沙箱内,避免它意外清空生产数据。 -
2. 构建“修复回路”(Repair Loops): 智能体不可避免地会犯错。优秀的 Harness 会自动捕获构建失败、测试失败等错误,再把整理后的日志直接反馈给智能体,让它修复自己的代码。 -
3. 给它地图,而不是一本说明书: 正如 OpenAI 团队所发现的,不要用巨大的指令文件把智能体淹没。应该用清晰的结构组织代码仓库,让智能体在工作过程中逐步发现所需上下文。
看看代码怎么写
在实践中,这是什么样子?下面用 Google Antigravity SDK 和 Google 的 ADK 配置一个本地 Harness。注意,我们把智能体严格限制在一个特定工作区内,即 workspaces=["./sandbox"];同时用 save_dir="./trajectories" 为它提供保存记忆的位置,让它能够从之前的经验中学习:
策略将智能体的访问范围限制在 Sandbox 文件夹内。
完成这样的设计后,你就可以把遗留代码放进沙箱,编写一个简单循环来执行单元测试,再让智能体通过反复迭代修复自己的 bug。
加入测试
那么,我们究竟该怎样测试这个在沙箱中运行的智能体?
在现代 Harness Engineering 中,测试是智能体工作流图中的主动环节。Google 的 ADK 2.0 引入了基于图的工作流,你可以把测试验证步骤定义成一个简单的路由节点。
测试通过,任务就结束;测试失败,Harness 会自动把错误反馈给智能体,让它再试一次。还要注意其中内置的“熔断开关”(kill switch):系统会记录迭代次数。如果智能体陷入不停破坏、修复、再破坏的无限循环,Harness 就会安全地终止流程。
如果想看这种测试路由模式如何实际运行,可以查看 Balaji 的 ADK Harness 仓库,其中提供了完整实现示例。
用基于图的工作流把所有环节连接起来
为了连接智能体和测试节点,可以使用 Workflow 图明确描述执行流程,不再需要编写复杂、层层嵌套的 Python while 循环。
这就像在赛道上画出真正的行驶路线:
测试回路。
恭喜,你已经构建出一个自主系统。智能体编写代码,然后把代码交给测试节点。如果测试失败并返回 loop_back 路由,智能体就会带着错误日志再尝试一次。
更多循环模式示例可以参考 ADK samples。
自己动手试试
你也许会问:为什么运行一个智能体还需要 Python 脚本?在普通聊天窗口中,你自己就是 Harness:你复制错误日志,然后守着模型一步步操作。软件 Harness 则能让系统照看自己,从而完全自动化测试驱动式编程,或者安全地重构庞大的遗留代码库。
要在自己的电脑上运行这个能够自我修复的循环,配置时间不到五分钟:
-
1. 安装框架: 在终端运行 pip install "google-adk[antigravity]",安装开源 Agent Development Kit 及其 Antigravity 集成。 -
2. 设置 API Key: 从 Google AI Studio 获取一个免费的 Gemini API Key,再将其导出到环境变量中: export GEMINI_API_KEY="your-key"。 -
3. 运行循环: 把上面的代码块保存成一个 Python 脚本,将有问题的 Python 或 Node 文件放进新建的 ./sandbox目录,然后运行脚本。 -
4. 扩展工作流图: 单元测试只是起点。要让 Harness 更加牢靠,可以在工作流中加入第二个 AI Agent,例如在代码获准通过之前,由 SecurityAuditor负责审查;也可以接入自定义 linter,强制执行严格的架构规则。
接下来,你可以把这个简单的测试节点替换成一个真正执行 pytest 或 npm test 的子进程。这样就得到了一个功能完整的修复回路。
如果准备进一步扩大使用规模,可以前往 antigravity.google 下载完整的 IDE 和 CLI;使用 Antigravity managed agent 进行远程执行;或者使用 Google 的 ADK 2.0 构建基于图的工作流。
延伸阅读
Google 的几位同事已经整理了一批很有价值的进阶指南。想学习如何为智能体构建安全环境,可以查看 Sara 展示 Cloud Run sandboxes 的 codelab;想掌握自我纠错机制,可以阅读 Balaji Subramaniam 最近发布的《Loop Engineering for Coding Agents》深度文章。
如果想了解这些方法如何用于大型企业场景,还可以阅读 James O’Reilly 对“利用智能体管线和 Antigravity 大规模自动化遗留系统现代化”的拆解。
参考链接
OpenAI Harness Engineering 实验:https://openai.com/index/harness-engineering/
多智能体系统的 Harness Engineering:https://medium.com/google-cloud/harness-engineering-for-multi-agent-systems-using-google-adk-2-0-e248b885cb95
ADK Harness 完整实现:https://github.com/balajismaniam/adk-harness-engineering/blob/main/workflows/workflows.py
ADK 循环模式示例:https://github.com/google/adk-python/tree/main/contributing/samples/workflows/loop
Google AI Studio:https://aistudio-preprod.corp.google.com/apps
Google Antigravity IDE 与 CLI:https://antigravity.google/?utm_campaign=CDR_0x91b1edb5_default_b550513795&utm_medium=external&utm_source=blog
Antigravity managed agent:https://ai.google.dev/gemini-api/docs/antigravity-agent?utm_campaign=CDR_0x91b1edb5_default_b550513795&utm_medium=external&utm_source=blog
Cloud Run sandboxes codelab:https://codelabs.developers.google.com/codelabs/cloud-run/cloud-run-personal-agent-coffee-shop?utm_campaign=CDR_0x91b1edb5_default_b550513795&utm_medium=external&utm_source=blog
Loop Engineering for Coding Agents:https://medium.com/@BalajiBuilds/61c30c9e36ca
利用智能体管线和 Antigravity 自动化遗留系统现代化:https://codelabs.developers.google.com/automating-modernization-with-antigravity?utm_campaign=CDR_0x91b1edb5_default_b550513795&utm_medium=external&utm_source=blog

