日前,前 OpenAI 安全研究副总裁、Thinking Machines Lab 联合创始人翁荔(Lilian Weng)在发表关于"Scaling Laws, Carefully"的技术博客后,再次更新了一篇题为"Harness Engineering for Self-Improvement"的最新文章。此次,她将焦点锁定在 AI 领域备受关注的议题——作为当前 AI Agent 系统核心工程层的 Harness Engineering(脚手架工程)。
如果说 Scaling Laws 决定了模型能力的理论天花板,那么 Harness 则是决定该模型在现实任务中能走多稳、多远的“操作系统”。
翁荔在新文中探讨了一个关键问题:在模型能够修改自身权重的“硬递归”尚且遥远的当下,真正的递归自我提升(RSI, Recursive Self-Improvement)循环,是否可以先从模型外部的这层“脚手架”开始?
图丨相关博客文章
Harness:智能体的运行时操作系统
Harness 可被理解为包裹在大模型外的一套系统。它超越了简单的提示词模板,是决定模型如何思考规划、调用工具行动、以及管理上下文和执行工作流的运行时环境。
翁荔指出,诸如 Claude Code 和 Codex 等成功的编程智能体产品,其核心优势很大程度上源于精心设计的 Harness。一个成熟的 Harness 类似于操作系统,它能封装复杂逻辑并保持接口简洁:让模型无需将整个工作流和日志全部“塞”进有限的上下文窗口,而是基于文件系统等持久化存储来管理状态和产物。这种设计模式使智能体能够处理长周期任务,有效避免在长上下文混乱中迷失方向。
图丨简化版 Codex 智能体循环:智能体调用工具,工具返回结果影响模型下一步生成内容
从手工设计到自我优化的演进路线
基于此思路,翁荔系统梳理了近期相关研究,总结出一条 Harness 从手工设计向自我优化演进的路径。
早期尝试:上下文即操作手册
早期的 Agentic Context Engineering 等框架,倾向于将上下文视为不断演化的“操作手册”。通过生成、反思和筛选的循环,模型能从成功或失败的轨迹中提炼结构化要点,从而更有效地管理记忆。
进阶阶段:元上下文与双层优化
Meta Context Engineering 将上下文管理本身变为可优化对象,利用元智能体搜索并改进管理上下文的“技能”,实现双层优化目标。
而 Meta-Harness 等工作则直接将 Harness 代码作为搜索空间,由编码智能体编写、测试并迭代新的 Harness 代码,甚至能生成多个候选方案以寻找帕累托最优解。
进化搜索:达尔文式自我修正
在进化搜索领域,Darwinian Gödel Machine 提出了一种框架,允许编码智能体修改自身 Harness 代码库。通过基于性能排名的选择机制,系统能不断产生新版本。实验表明,在 SWE-bench Verified 等编程基准上,该方法发现的智能体通过率可达 20% 至 50%,表现媲美甚至优于手工设计的智能体。
翁荔强调,这并非意味着未来仅需优化 Harness。长远来看,Harness 与模型权重的联合优化,仍可能是递归自我提升的重要方向。
图丨智能体上下文工程框架示意图
范式转移:从获取答案到优化机制
翁荔认为,这种“元方法论”的转向是当前最值得关注的趋势:目标不再仅仅是让模型给出更好的答案,而是构建一套能持续改进“如何获得更好答案”的机制。
在此回路中,Harness 自身成为优化对象,逐步减少对人工启发式规则的依赖,转向更多可自动搜索的通用机制;工程师的角色也从具体规则编写者,转变为通用进化框架的设计者。
现实瓶颈与安全挑战
尽管前景广阔,翁荔也客观列出了该研究面临的现实瓶颈。
评估难题与奖励黑客
最大的挑战之一来自评估。目前的自我改进循环在有明确、快速、客观指标的任务(如写代码、解数学题)上效果显著。然而,面对模糊判断(如“研究是否有品味”、“结果是否重要”),系统极易失效,甚至为了通过测试而学会作弊,即出现“奖励黑客”现象。
图丨元上下文工程框架示意图
安全风险与人类角色
安全是另一大隐患。若允许模型自由修改系统代码,抽象边界和权限控制可能被打破,引发灾难性后果。翁荔强调,人类不应被排除在循环之外,而需向上移动,在环路外扮演架构师和方向指引者的角色,负责设计可编辑的边界并进行关键节点审查。
务实的挑战清单
文章结尾,翁荔并未描绘迈向 RSI 的虚幻愿景,而是列出了一份务实的挑战清单:如何设计优秀的评估器、如何管理长周期任务的记忆、如何解决进化中的多样性坍缩、如何应对奖励黑客,以及如何平衡短期任务成功与代码库长期健康之间的关系。
她特别指出了一个易被忽视的问题:当前优化多基于沙盒内的短期奖励,但现实软件工程需兼顾可维护性、向后兼容性和未来开发负担。这些关乎“长期成功”的指标,正是当前系统最不擅长处理的领域。
如果说前篇关于 Scaling Laws 的文章提醒人们算力投资公式并非绝对可靠,那么这篇关于 Harness 的文章则揭示:通向递归自我提升的第一步,很可能不是直接修改模型本身,而是先优化模型之外那个看似不起眼的 Harness。而这条路,同样充满了需要小心规避的陷阱。
或许,真正的 RSI 并非始于模型突然自我修改的那一刻,而是悄悄萌芽于一次次 Harness 的优化之中。
参考资料:
1. https://lilianweng.github.io/posts/2026-07-04-harness/
排版:刘雅坤
注:封面/首图由 AI 辅助生成

