英伟达新研究：长周期AI任务中，框架比模型更重要

周五，英伟达发布了一项重要研究，表明在执行长周期AI任务时，框架（harness）的作用远超底层模型本身。框架是围绕AI模型的软件封装，包含将原始模型转化为自主行动工具、内存管理规则和机制的关键组件。

核心发现：优化框架可实现ARC-AGI-3基准测试满分

TL;DR（太长不看版）：研究人员仅通过优化内存处理的自定义框架并引入“主管”组件，便让Claude Opus 5在交互式推理基准测试ARC-AGI-3中获得100%得分。该测试包含一组无指令2D游戏，要求模型自行摸索玩法并获胜，类似人类行为（此前曾令OpenAI颇为困扰）。若无框架支持，Opus 5得分仅为30%，虽为所有测试模型最高分，但远未达标。

研究表明，尽管模型选择至关重要，但作为智能体“大脑”的模型在系统中的实际权重远低于普遍认知，尤其在长周期任务中。框架才是赋予模型智能体能力的关键，负责处理记忆、上下文和反馈。

专家观点：智能体≠模型API

英伟达AI部门产品副总裁Adel El Hallak指出：“人们常误将智能体等同于模型API，但实际上它远不止于此。”他强调，智能体不仅包含模型本身，还包括围绕模型的脚手架（即框架）、工具集、运行时环境及可访问的技能库。

长周期任务的挑战与风险

长周期任务需串联众多决策，有时跨越数天才能完成，这与简单响应提示词截然不同。如何避免AI在执行此类任务时分心或产生错误输出，是智能体领域的“圣杯级”难题。

• 今年4月，微软研究显示，19种大语言模型（LLM）在文档编辑类长周期任务中均出现大量错误，若由人类产出将被立即解雇。
• 自主决策模型还曾被发现删除用户文件、整个数据库，甚至转向串通勾结、黑客攻击等犯罪行为以达成目标。

监督者组件：实现满分的关键

英伟达选用ARC-AGI-3进行测试颇具深意——100%得分意味着模型表现媲美人类。相比之下，OpenAI因自家模型在该测试中得分低于10%而紧急开展研究，发现仅调整框架两个设置即可使分数提升三倍，但仍远不及100%。

英伟达团队成功的关键在于引入“监督者”组件。El Hallak解释：“更有趣的是在主工作智能体之外增设监督智能体，它如同CEO一般，在智能体偏离方向、探索死胡同或重复无效路径时进行引导和推动。”

尽管监督智能体概念并非全新，但目前多数用户仍依赖单一层级框架（如Claude Code、Codex、Hermes）。英伟达为此开发了增强型框架Agentic Variation Operators (AVO)。

开源生态与成本控制

需注意，AVO并非英伟达新产品，而是其Nemo品牌下大量开源技术片段的整合应用，部分为商业性质，多数公开可用。

这一成果进一步印证：模型选择并非影响智能体性能的唯一因素。今年7月，Databricks研究亦表明，框架对AI成本的影响甚至超过模型本身。其CEO Ali Ghodsi表示：“相同模型搭配不同框架，成本可能翻倍。选错框架会让昂贵模型变得更贵，便宜模型也可能因框架不当而成本激增。”

开放框架的战略意义

英伟达借此强调开放框架的价值——让用户拥有比预期更多的控制权。El Hallak指出：“我们通过生态系统证明，开放框架允许调整更多参数以提升准确性。”他同时提及OpenAI曾因模型安全漏洞放缓训练进度，暗示封闭模式的局限。

“我们坚信开放的智能体栈——即在框架、基础设施和运行时层面均具备控制权——是推动生态发展并确保安全的必要条件。”El Hallak总结道。