大数跨境

什么是 Harness Engineering,为什么你应该关心?

什么是 Harness Engineering,为什么你应该关心? Levix 空间站
2026-09-04
0
导读:什么是 Harness Engineering,为什么你应该关心?怎样才能交付一款完全没有人工手写代码的软件产品?

 

什么是 Harness Engineering,为什么你应该关心?

怎样才能交付一款完全没有人工手写代码的软件产品?

今天有位朋友问了我这个问题。我发现自己给不出一个简单的答案,于是深入研究了一番。

事实证明,答案就在于你如何设计 Harness。

等等,什么?Harness Engineering 又是什么?

它会成为当下围绕 coding agent 最重要的趋势,是有原因的。如今最大的问题是:不逐行阅读 AI 生成的代码,要怎样验证它?又怎样确保智能体不会破坏生产环境,或者删掉你的数据?

OpenAI 的一篇博客分享了一项很有意思的实验:一个由 3 名工程师组成的团队,在没有人工手写一行代码的情况下,构建并交付了一款软件产品的内部测试版。应用逻辑、测试、CI 配置、文档、可观测性和内部工具——每一行代码都由 Codex 编写。

他们是怎么做到的?他们没有亲手编写应用,而是设计了 Harness。

Harness 到底是什么?

可以把 AI Agent 想象成一匹力量强大的赛马。Harness 就是赛道、眼罩和骑手手中的缰绳:它们让赛马沿着正确方向奔跑,不至于一头冲进看台。

正如同事 Arthur Thompson 今天所解释的:对于智能体而言,Harness 由包裹在 LLM 外部的所有确定性组件组成。

Balaji Subramaniam 在他的文章中详细介绍了这些确定性组件,包括编排层、执行沙箱、状态持久化和验证工具。

如果想构建可靠的智能体系统,你的工作重点就会从编写逻辑,转向设计智能体运行的环境。以下三件事尤其重要:

  1. 1. 设定严格边界: 不要让智能体猜测自己可以操作什么。要执行严格的访问规则,例如将它限制在特定沙箱内,避免它意外清空生产数据。
  2. 2. 构建“修复回路”(Repair Loops): 智能体不可避免地会犯错。优秀的 Harness 会自动捕获构建失败、测试失败等错误,再把整理后的日志直接反馈给智能体,让它修复自己的代码。
  3. 3. 给它地图,而不是一本说明书: 正如 OpenAI 团队所发现的,不要用巨大的指令文件把智能体淹没。应该用清晰的结构组织代码仓库,让智能体在工作过程中逐步发现所需上下文。

看看代码怎么写

在实践中,这是什么样子?下面用 Google Antigravity SDK 和 Google 的 ADK 配置一个本地 Harness。注意,我们把智能体严格限制在一个特定工作区内,即 workspaces=["./sandbox"];同时用 save_dir="./trajectories" 为它提供保存记忆的位置,让它能够从之前的经验中学习:


   
   
   
   
    
   
   
   
   import os
from google.adk.labs.antigravity import AntigravityAgent
from google.antigravity import LocalAgentConfig
from google.antigravity.hooks import policy

# Ensure absolute paths for workspace containment
sandbox_dir = os.path.abspath("./sandbox")
os.makedirs(sandbox_dir, exist_ok=True)
save_dir = os.path.abspath("./trajectories")

# 1. Engineer the harness environment
sdk_config = LocalAgentConfig(
    system_instructions="You are a helpful local environment assistant.",
    workspaces=[sandbox_dir],
    # Let the agent write safely within the restricted sandbox boundary
    policies=[policy.allow_all()],
    save_dir=save_dir,
)

# 2. Wrap the config to run the agent inside the harness
root_agent = AntigravityAgent(
    name="antigravity_assistant",
    description="Runs an Antigravity SDK agent inside ADK.",
    config=sdk_config,
)

策略将智能体的访问范围限制在 Sandbox 文件夹内。

完成这样的设计后,你就可以把遗留代码放进沙箱,编写一个简单循环来执行单元测试,再让智能体通过反复迭代修复自己的 bug。

加入测试

那么,我们究竟该怎样测试这个在沙箱中运行的智能体?

在现代 Harness Engineering 中,测试是智能体工作流图中的主动环节。Google 的 ADK 2.0 引入了基于图的工作流,你可以把测试验证步骤定义成一个简单的路由节点。

测试通过,任务就结束;测试失败,Harness 会自动把错误反馈给智能体,让它再试一次。还要注意其中内置的“熔断开关”(kill switch):系统会记录迭代次数。如果智能体陷入不停破坏、修复、再破坏的无限循环,Harness 就会安全地终止流程。


   
   
   
   
    
   
   
   
   from google.adk.agents.context import Context
from google.adk import Event
from google.adk.events.event_actions import EventActions
from google.genai import types

# 3. Evaluate the code in the sandbox
def execution_test_node(ctx: Context):
    # Safely track our attempts to prevent infinite loops
    iteration_count = ctx.state.get("iteration_count", 0) + 1
    ctx.state["iteration_count"] = iteration_count

    test_passed = ctx.state.get("test_passed", False)
    feedback = ctx.state.get("feedback", "")

    if test_passed:
        # Success! End the workflow.
        return Event(actions=EventActions(route="END"))

    if iteration_count > 5:
        # The Kill Switch: The agent is stuck. Stop the loop.
        return Event(actions=EventActions(route="END"))

    # Failure! Feed the error trace back to the agent and loop it.
    feedback_msg = f"The unit tests failed with the following traceback:\n\n{feedback}"

    return Event(
        content=types.Content(role="user", parts=[types.Part(text=feedback_msg)]),
        actions=EventActions(route="loop_back")
    )

如果想看这种测试路由模式如何实际运行,可以查看 Balaji 的 ADK Harness 仓库,其中提供了完整实现示例。

用基于图的工作流把所有环节连接起来

为了连接智能体和测试节点,可以使用 Workflow 图明确描述执行流程,不再需要编写复杂、层层嵌套的 Python while 循环。

这就像在赛道上画出真正的行驶路线:


   
   
   
   
    
   
   
   
   from google.adk import Workflow

# 4. Wire the agent and the test node together into a loop
repair_loop = Workflow(
    name="repair_loop",
    edges=[
        # 1st Step: Define the main sequence (START -> agent -> test node)
        ("START", root_agent, execution_test_node),

        # 2nd Step: If the test returns "loop_back", go back to the agent
        (execution_test_node, {"loop_back": root_agent})
    ]
)

测试回路。

恭喜,你已经构建出一个自主系统。智能体编写代码,然后把代码交给测试节点。如果测试失败并返回 loop_back 路由,智能体就会带着错误日志再尝试一次。

更多循环模式示例可以参考 ADK samples。

自己动手试试

你也许会问:为什么运行一个智能体还需要 Python 脚本?在普通聊天窗口中,你自己就是 Harness:你复制错误日志,然后守着模型一步步操作。软件 Harness 则能让系统照看自己,从而完全自动化测试驱动式编程,或者安全地重构庞大的遗留代码库。

要在自己的电脑上运行这个能够自我修复的循环,配置时间不到五分钟:

  1. 1. 安装框架: 在终端运行 pip install "google-adk[antigravity]",安装开源 Agent Development Kit 及其 Antigravity 集成。
  2. 2. 设置 API Key: 从 Google AI Studio 获取一个免费的 Gemini API Key,再将其导出到环境变量中:export GEMINI_API_KEY="your-key"。
  3. 3. 运行循环: 把上面的代码块保存成一个 Python 脚本,将有问题的 Python 或 Node 文件放进新建的 ./sandbox 目录,然后运行脚本。
  4. 4. 扩展工作流图: 单元测试只是起点。要让 Harness 更加牢靠,可以在工作流中加入第二个 AI Agent,例如在代码获准通过之前,由 SecurityAuditor 负责审查;也可以接入自定义 linter,强制执行严格的架构规则。

接下来,你可以把这个简单的测试节点替换成一个真正执行 pytest 或 npm test 的子进程。这样就得到了一个功能完整的修复回路。

如果准备进一步扩大使用规模,可以前往 antigravity.google 下载完整的 IDE 和 CLI;使用 Antigravity managed agent 进行远程执行;或者使用 Google 的 ADK 2.0 构建基于图的工作流。

延伸阅读

Google 的几位同事已经整理了一批很有价值的进阶指南。想学习如何为智能体构建安全环境,可以查看 Sara 展示 Cloud Run sandboxes 的 codelab;想掌握自我纠错机制,可以阅读 Balaji Subramaniam 最近发布的《Loop Engineering for Coding Agents》深度文章。

如果想了解这些方法如何用于大型企业场景,还可以阅读 James O’Reilly 对“利用智能体管线和 Antigravity 大规模自动化遗留系统现代化”的拆解。

参考链接

OpenAI Harness Engineering 实验:https://openai.com/index/harness-engineering/

多智能体系统的 Harness Engineering:https://medium.com/google-cloud/harness-engineering-for-multi-agent-systems-using-google-adk-2-0-e248b885cb95

ADK Harness 完整实现:https://github.com/balajismaniam/adk-harness-engineering/blob/main/workflows/workflows.py

ADK 循环模式示例:https://github.com/google/adk-python/tree/main/contributing/samples/workflows/loop

Google AI Studio:https://aistudio-preprod.corp.google.com/apps

Google Antigravity IDE 与 CLI:https://antigravity.google/?utm_campaign=CDR_0x91b1edb5_default_b550513795&utm_medium=external&utm_source=blog

Antigravity managed agent:https://ai.google.dev/gemini-api/docs/antigravity-agent?utm_campaign=CDR_0x91b1edb5_default_b550513795&utm_medium=external&utm_source=blog

Cloud Run sandboxes codelab:https://codelabs.developers.google.com/codelabs/cloud-run/cloud-run-personal-agent-coffee-shop?utm_campaign=CDR_0x91b1edb5_default_b550513795&utm_medium=external&utm_source=blog

Loop Engineering for Coding Agents:https://medium.com/@BalajiBuilds/61c30c9e36ca

利用智能体管线和 Antigravity 自动化遗留系统现代化:https://codelabs.developers.google.com/automating-modernization-with-antigravity?utm_campaign=CDR_0x91b1edb5_default_b550513795&utm_medium=external&utm_source=blog

 


【声明】内容源于网络
0
0
Levix 空间站
1234
内容 58
粉丝 0
Levix 空间站 1234
总阅读0
粉丝0
内容58