大数跨境
首页
>
76%的性能提升与模型无关？Karpathy 700次 Loop 实验揭开 Agent 最大误区
>

76%的性能提升与模型无关？Karpathy 700次 Loop 实验揭开 Agent 最大误区

76%的性能提升与模型无关？Karpathy 700次 Loop 实验揭开 Agent 最大误区 AI前线
2026-07-06
121
导读：别再逼你的Agent一步到位了！性能之差，藏在模型之外
“今天 AI 行业最大的误区，是大家都在逼 Agent 尽快干活，却没有先把底层模型和系统机制理解吃透。”这是前 OpenAI 联合创始人、现 Anthropic 预训练研究员 Andrej Karpathy 的核心观点。他警示业界，在基础能力未成熟时急于让 Agent 执行复杂任务，往往事倍功半。
过去一年，Agent 赛道拥挤不堪，但许多失败案例并非源于模型不够聪明，而是败在了模型之外那套更基础的系统工程。Hugging Face 工程师 Joel Niklaus 的实验《Don't Train the Model,Evolve the Harness》表明：使用同一个 DeepSeek-v4-pro，仅优化模型外层的执行机制（Harness），即可让 Agent 在专业任务中的表现从 3.5% 大幅提升至 80.1%。
Karpathy 斩获 9 万 Star 的开源项目 AutoResearch 进一步印证：AI 的真正价值不在于一次性生成答案，而在于“提出修改、运行实验、自动评估、保留进步”的循环迭代能力。一次答对靠模型，持续迭代则靠模型与外层执行系统的组合。

只优化“外壳”，性能也能狂飙？

Hugging Face 的实验颠覆了单纯依赖提示词或更大模型的认知。Niklaus 在特定法律 Agent 基准测试中，完全冻结 DeepSeek-V4-Pro 的模型权重，唯一变量是包裹在模型外层的代码和执行逻辑（Agent Harness）。
测试发现，某些机制下模型得分为 0%，并非模型推理错误，而是结果存错了文件名导致测试程序无法读取。这证明 0 分测的不是模型智力，而是 Harness 的有效性。
数据显示，仅更换五种不同的外层执行机制，综合得分（pooled score）便在 3.5% 到 80.1% 之间剧烈波动。经过约 22 轮代码自动迭代优化，最终在 100 个测试任务上，得分从 63.4% 提升至 80.1%，全通过率从 0% 提升至 5.0%。
未动权重的开源模型仅靠优化 Harness，表现即追平顶级闭源模型 Claude Sonnet 4.6，而运行成本仅为原来的 1/7。更重要的是，这套优化后的 Harness 迁移到同族小模型上，依然带来了显著的性能提升，证明代码层面的执行机制比提示词调优更易沉淀和跨模型迁移。

什么是 Harness？

前 Lightning AI 工程师 Akshay 将原始 LLM 比作没有内存或硬盘的 CPU，而 Harness 则是管理内存、I/O 和驱动程序的操作系统。生产级 Harness 应包含流程编排、工具调用、分层存储、上下文管理及错误处理等 12 个核心组件。
例如针对“上下文腐烂”问题，成熟的 Harness 通过压缩历史记录、屏蔽旧输出、动态获取和代理摘要等工程方法，以最少数量的高信息密度 Token 获得最佳结果。
Niklaus 得出结论：Benchmark 测到的永远是“模型+Harness"的组合能力。最大的性能改进往往来自简单的文件处理等自动化步骤，而非消耗大量 Token 去修改提示词。但这并不意味着无需训练模型，而是强调在堆叠大模型前，应先构建出合格的 Harness。

700 次自动迭代、性能跃升 5 倍

如何搭建能持续进化的 Agent？AI 研究员 Codila 将 Karpathy 的 AutoResearch 项目浓缩为五步走的"Loop Engineering"方法论，其核心在于不要指望 Agent 一次做对，而在低成本的持续试错中逼近最优解。
该循环逻辑极简：
  1. 基于精细调整的模型，编写文档规定探索方向及约束条件；
  2. 仅允许智能体修改训练脚本，锁定评估和评分脚本以防作弊；
  3. 让 Agent 进入“提出变更→训练→评估→保留好的、舍弃坏的”循环。
Karpathy 手动调整模型需两天，而 Agent 自动运行 700 次实验，找出了 20 项连专家都忽略的代码改进（如注意力机制中遗漏的标量乘数）。Shopify CEO Tobi Lutke 测试发现，优化后模型质量提高 19%，体积减少一半。
使循环有效运作的三个基本要素：
  • 验证器：自动判断结果好坏，避免 Agent“自批作业”；
  • 状态文件：记录每次尝试结果，支持断点续跑；
  • 停止条件：达到目标或最大轮次即停，防止 Token 预算耗尽。
Codila 提出了适用 Loop 循环的“四项全能”标准：任务高频、验证可自动化、Token 预算充足、Agent 能访问真实运行环境。缺一不可，否则成本将远超收益。
研究人员进一步提出“双层自动研究（Bilevel Autoresearch）”：内层循环优化模型，外层循环优化内层的搜索逻辑。结果显示，性能比基准测试提升了 5 倍。外层循环打破了 LLM 的“思维定势”，强制模型探索其本能回避的方向。
需警惕 Loop 自转带来的隐性代价：一是“理解债”，自动生成代码导致 Debug 成本极高；二是“认知让渡”，人易停止思考，用工具逃避理解工作。

当试错成本趋近于零

现实世界的问题从来不是靠一次灵感解决的。Hugging Face 的实验和 Karpathy 的 Loop Cycle 共同指向 AGI 发展的底层逻辑变迁：真正的智能是靠系统工程将“试错成本”无限降低。
当试错成本足够低，Agent 便能像不知疲倦的实习生自动成长。我们过去过于关注模型本身，却忽略了“车架和方向盘”（Harness）以及“导航和刹车”（Loop 的验证与停止条件）。
这不仅是工程方法论的升级，也是对人类认知的考验。AI 真正的护城河，不在于用了多大的模型，而在于能否构建一套让模型在真实世界中不断进化的系统，同时保持人类对系统底层逻辑的清醒掌控。

【声明】内容源于网络
0
0
AI前线
面向AI爱好者、开发者和科学家，提供大模型最新资讯、AI技术分享干货、一线业界实践案例，助你全面拥抱AIGC。
内容 8620
粉丝 0
AI前线 面向AI爱好者、开发者和科学家，提供大模型最新资讯、AI技术分享干货、一线业界实践案例，助你全面拥抱AIGC。
总阅读155.2k
粉丝0
内容8.6k