【报告】Harness专题：阿里DreamX团队：LongHorizon-HarnessAdvancing Long-Horizon Agents for Real-World Tasks（附PDF下载）

阿里DreamX团队发布最新论文《LongHorizon-Harness: Advancing Long-Horizon Agents for Real-World Tasks》。

面对长任务AI Agent常见的“跑偏”与“迷之自信”问题，阿里提出将“任务状态”从上下文中剥离，实行执行者、管理者、审计员“三权分立”的MEA架构。实验显示，Qwen 3.7-Plus在WeaveBench上的通过率从51.8%提升至80.7%，OSWorld 2.0完成率翻三倍。

01 长任务Agent的困境：上下文腐烂与目标漂移

随着大模型Agent能力增强，其在写代码、数据分析等长时程任务中的应用日益广泛。然而，“更长”并不等同于“更可靠”。论文指出，长任务Agent普遍面临三大核心挑战：

第一，复合错误与目标漂移。初期的小错误在长轨迹中累积，导致Agent逐渐偏离原始目标，如同导航出错后越行越远。

第二，上下文腐烂（Context Rot）。随着对话历史增长，关键信息被冗余内容淹没。一旦超过临界点，模型性能可能出现断崖式下跌，并非模型智力不足，而是有效信息密度降低。

第三，任务状态丢失。Agent往往难以准确记忆并更新已完成动作、当前进度及环境事实，导致后续决策缺乏准确依据。

现有Agent Harness存在结构性缺陷：任务执行与状态管理混杂在不断增长的上下文中，且执行与评估绑定。Agent既当“运动员”又当“裁判”，错误的自我评估会被写入状态，进一步误导后续决策。

02 阿里方案：MEA架构实现“三权分立”

论文核心思想是将长时程执行重构为“任务状态管理”问题。任务状态不再隐含于对话历史，而是显式维护在执行之外，且仅允许通过经环境独立验证的事实进行更新。

系统采用Manage-Execute-Audit（MEA）循环机制：

• Manager（管理者）：维护任务状态，基于审计报告决定下一步子任务；
• Executor（执行者）：在全新上下文中执行当前子任务，不保留历史轨迹；
• Auditor（审计者）：只读检查环境，独立验证实际发生的变化。

每轮执行结束后，原始交互轨迹被丢弃，跨轮次仅保留任务状态与审计报告。这种机制类似工程中的“项目经理—施工队—质检员”模式，确保AI只记住经过验证的事实，而非冗长的聊天记录。

03 角色分工与协作机制

Manager：全局统筹，不动手

Manager拥有持久任务状态，可查看原始任务、当前状态及历史审计报告，但无直接操作环境的权限。其核心职能包括：

1. 更新任务状态：仅依据审计报告中验证过的事实更新需求与工件记录，拒绝未经证实的执行报告；
2. 构造子任务合同：明确目标、验收标准及边界约束，路由至相应执行者；
3. 控制决策：发出EXECUTE、DONE、BLOCKED或ASK指令。

Executor：唯一执行者，上下文隔离

Executor是唯一有权修改环境的角色。每轮它在全新、预算受限的上下文中运行，接收原始任务、当前状态及子任务合同。执行过程中可反复规划与修正，但轮次结束后，内部推理与原始轨迹全部丢弃，仅提交执行报告。需注意，执行报告仅为“声称”，不具备最终效力。

Auditor：只读质检，独立验证

Auditor独立验证执行后的环境状态。它无法访问执行者的内部推理，仅通过只读工具检查环境，输出包含完成状态、完整性状态及事实证据的审计报告。Auditor严禁修改任何任务相关环境，一旦检测到污染即标记为违规。这种“只读权威”确保了验证结果的客观性。

AgentAdapter：兼容多种后端

通过轻量级AgentAdapter，系统支持Claude Code、Codex CLI、OpenClaw等多种后端。Manager、Executor、Auditor可灵活互换模型与Harness后端，实现流程与后端的解耦。

04 实验表现：多基准显著提升

研究在WeaveBench、OSWorld 2.0及Terminal-Bench 2.1三个长时程基准上进行评估。以下为同模型、同后端配置下的性能对比：

主要亮点：

• WeaveBench：Qwen 3.7-Plus结合新Harness后，通过率接近翻倍，甚至超过了未使用该架构的更强模型Opus 4.7。
• OSWorld 2.0：二进制完成率提升三倍，部分完成率显著提高，表明任务满足比例大幅增加。
• 跨模型通用性：该架构在不同模型上均表现出显著增益，证明Agent能力是“模型+Harness”的系统属性。

成本分析

Token成本因任务和模型而异。WeaveBench总Token约为基线2.3倍，OSWorld 2.0输出Token约为3.6倍，而Terminal-Bench 2.1反而减少24%。其中，Auditor是主要额外开销占比（19.4%—38.1%）。强模型配合高效Harness可减少重试轮次，从而实现“反向省Token”。

任务类型差异

Design、Spatial/3D等复杂任务增益最大；系统管理与软件工程任务也有显著提升。但对于数学、视频处理等依赖单步推理能力的任务，增益有限甚至可能回退，因为Harness主要解决的是长时程可靠性而非单步智力瓶颈。

05 典型案例解析

案例一：打破死循环。在Wireshark任务中，基线模型因对话框无响应陷入400步死循环。新架构将失败记录为“未解决证据缺口”，引导后续执行者补充缺失图表，得分从0.59提升至0.92。

案例二：严格遵循流程。在文档样式规范化任务中，基线模型直接修改XML导致表面正确但底层错误。新架构强制通过GUI工作流操作并经审计者逐页检查，确保底层样式正确，得分从0.00提升至0.89。

案例三：证据链完整性。在修复公式任务中，基线模型丢失修复前证据。新架构将“缺失证据”列为Pending需求，优先补全后再修复，确保审计通过，得分从0.45提升至0.87。

06 核心价值与边界

为何有效？

1. 状态转移替代轨迹增长：每轮干净上下文消除上下文腐烂；
2. 切断自评污染：只有独立审计证据才能确认状态完成；
3. 验证成为一等公民：只读审计确保结论可信；
4. 工程落地友好：兼容原生Agent循环，无需重写底层逻辑。

适用边界

• 依赖可验证的环境状态（如文件、日志、截图），对主观语义或隐藏阈值验证困难；
• 对单步推理能力要求极高的分析类任务（如复杂数学推导）提升有限；
• Token成本非固定倍数，取决于任务复杂度与模型能力。

07 结语

LongHorizon-Harness揭示了一个重要范式转变：长时程Agent的瓶颈不仅在于模型强度，更在于任务状态的管理机制。从“更长上下文”转向“更好的状态管理”，从“执行者自评”转向“独立只读审计”，是提升Agent可靠性的关键路径。

对开发者的启示：

1. 状态外部化：避免将进度与事实混杂于聊天记录；
2. 验证独立化：分离执行与评估权限；
3. 评测长时程化：关注多步后的最终任务完成度。

论文信息：
LongHorizon-Harness: Advancing Long-Horizon Agents for Real-World Tasks
阿里巴巴 DreamX Team
GitHub：https://github.com/AMAP-ML/LongHorizon-Harness
Website：https://lh-harness.pages.dev

上下文会腐烂，审计不会。
不是让AI记住更多，而是让AI只记住被验证的事实。