智猩猩AI整理

论文作者投稿

一个 Agent 能否完成任务，既取决于模型能力，也取决于模型所处的执行框架。同一个模型，在检索邮件时可能只读取第一页，在筛选记录时可能遗漏一个约束，在修改代码后也可能缺少必要的验证。调整工具调用后的提示、信息组织方式或执行规则，往往就能改变这些行为。

这些围绕模型构建的提示、工具接口、上下文与记忆机制，以及执行规则，共同构成了 Harness（执行框架）。Harness 的改进能够帮助 Agent 完成原本失败的任务，也带来了一个值得研究的问题：这些由执行框架引导出来的能力，能否通过训练保留到模型自身，在回到原始框架后继续发挥作用？

来自上海交通大学、小红书、中关村人工智能研究院、卡内基梅隆大学的联合研究团队开源了 Harness-S。研究从同一基础框架出发，构建具有不同修复专长的 sibling harnesses（同源框架变体），在模型遇到失败任务时调用这些变体提供新的探索路径，再通过强化学习更新同一个模型。

• 论文标题：Harness-S: Learning from Sibling Harnesses for Generalizable Agent Training 

• arxiv id:2611.04277

Harness-S 的核心思路是：把互补执行框架提供的成功经验，转化为模型在原始框架下也能使用的能力。 在 AppWorld、SWE-Gym 和 DBBench 上等长程Agent任务上，论文从任务表现、训练信号和具体行为三个层面检验了这一思路。

01

研究动机：执行框架的改进，

为什么需要保留多样性？

不同 Harness 的价值，首先体现在它们能够解决不同的失败。 例如，分页提醒有助于完整收集跨来源的信息，联合筛选规则有助于保留多个任务约束，接近执行预算时的提醒则有助于完成最终提交。这些修复针对的是不同环节，其作用也会随任务和模型能力而变化。

论文围绕同一基础框架 DeepSeek Harness   的演化，观察到了三个相互关联的现象。

图 1：同源框架变体的三种性质。左：同一次修改可能修复部分任务，也使另一些任务退化；中：不同变体的联合成功覆盖率高于相同尝试次数下的 H₀ 重采样；右：固定变体相对 H₀ 的收益会随模型训练而改变。中图的 oracle 联合覆盖率由执行后的结果统计得到，用于刻画互补潜力。

局部性（Locality）意味着，一项修复的收益有其适用范围。 某个变体可能帮助模型完成一类任务，同时让原本能够解决的任务退化。因此，把多项局部修复不断叠加到一个框架中，可能产生新的干扰，难以保留每个变体的优势。

互补性（Complementarity）意味着，平均分之外还存在值得利用的差异。 两个得分接近的框架，可能解决了不同的任务。图 1 中，让模型分别在多个变体下尝试，能够覆盖更多成功任务。这说明，多样化的执行支持可以为模型打开不同的求解路径。

非平稳性（Nonstationarity）意味着，框架的价值需要结合当前模型判断。 随着模型学习，某些原本必要的提醒可能不再有效，变体之间的优劣顺序也可能改变。由此，Harness-S 同时关注两件事：保留互补变体，以及随着模型能力变化更新对这些变体的选择。

02

方法框架：从互补变体中

获取可学习的经验

Harness-S 通过方向性 Harness 演化、互补救援训练和自适应 Harness Router 三个模块，将不同执行框架的修复专长转化为共享策略的学习经验。

方向性演化构建互补框架池，救援训练从基础框架失败的任务中获取新的学习信号，Router 则根据当前策略的行为证据选择合适的辅助框架。

框架池在策略训练期间保持固定，路由所依据的行为画像随训练更新。

图 2：Harness-S 总体框架。左侧构建并保留具有不同修复方向的同源框架变体；中间在 H₀ 下的初始尝试全部失败时启动救援，并更新共享策略；右侧展示训练后在原始框架下保留能力，以及进一步使用 Rank-1 路由的两种执行方式。

在这一框架中，所有变体共享同一个策略   ，最终得到的框架池记为？   。对于任务   ，模型在某个框架下生成执行轨迹   ，任务验证器通过   判断其是否成功。框架改变了模型的执行条件，轨迹产生的奖励则用于学习共享策略。

方向性 Harness 演化

Directional Harness Evolution 沿不同失败原因生成具有互补专长的框架变体。方法从基础框架出发分析失败轨迹，将相关失败原因归为不同修复方向，再分别生成子变体。选择下一轮演化的父代时，方法关注多个候选能够共同覆盖多少验证任务，使具有不同优势的分支有机会延续。

父代选择以联合验证覆盖率为目标。记第    轮可执行且符合协议的子变体集合为    ，   表示冻结策略在框架   下成功解决的验证任务集合，下一轮至多保留   个父代：

    

集合并集使同一个任务只被计数一次。因此，能够补足其他候选失败任务的变体，有机会凭借其新增覆盖被选为父代。

Sibling Harness Pool 保留所有可执行且符合协议的有效变体，包括未被选作下一轮父代的候选。这样，演化过程能够持续积累具有不同适用条件的执行支持。进入策略训练后，框架池保持固定，各变体通过同一个待训练模型执行任务。

互补救援训练

Complementary Harness Rescue Training 将互补探索集中到基础框架下初始尝试全部失败的任务。当前模型首先在   下生成一组执行轨迹；只要其中出现成功，就保留原来的轨迹组。若全部失败，Router 则选择多个辅助变体，让同一模型分别从任务初始状态重新执行。

用于训练的轨迹组由初始尝试的结果决定。记   为当前策略在  下生成的K 条轨迹，   为选出的K个辅助变体各执行一次得到的救援轨迹组，则：

   

救援组直接替换原来的全失败组，成为该任务用于策略更新的轨迹组。模型由此能够利用不同执行支持重新探索同一个困难任务。

救援轨迹为强化学习提供新的成败对照。对于保留下来的轨迹组，GRPO 根据组内奖励计算相对优势：

   

其中，   是组内第j 条轨迹，   和    分别是组内奖励的均值与标准差，   用于稳定分母。初始轨迹全部失败时，各条轨迹的奖励均为零，缺少组内奖励差异；救援后若出现成功与失败并存的轨迹组，就能形成非零的相对优势，为共享策略更新提供可强化的成功路径。

救援训练向原始框架迁移的基础，是不同上下文中的动作生成与参数更新均由同一策略承担。 

不同 Harness 通过提示、信息组织与执行反馈构造不同的上下文   ，改变策略的条件动作分布   ，而具体的动作 token   始终由策略自身生成。

由于这些同源变体共享环境接口，救援中涉及的工具调用与任务操作在  下同样可以执行；辅助上下文的作用在于引导策略探索在原始上下文中较难采样到的有效行为。

强化学习随后依据任务奖励，在轨迹实际生成的上下文中对策略 token 进行优化，将这些成功经验用于更新共享参数。这为上下文支持下的成功行为转化为策略自身更稳定的行为倾向提供了学习路径，有助于模型在回到 后继续产生相应的任务行为。后文通过原始框架下的性能与行为分析检验这一迁移效果。

自适应 Harness Router

Adaptive Harness Router 依据行为画像，将任务需求与当前策略所需的执行支持相匹配。Harness Behavior Profiles 记录某个变体在什么任务条件下有帮助，以及在什么条件下可能产生负面影响。

例如，同样是检索任务，跨来源分页与多条件筛选需要的支持就可能不同。路由器结合这些画像、验证集表现和相似任务结果，由多个大模型独立排序并投票，选出用于救援的 Top-K 变体。

路由得分通过排名加权投票得到，并用于选择互不相同的辅助框架：

   

   

这里，   表示当前画像校准阶段， 是参与投票的大模型数量，    是第  个模型给出的排名。权重   随名次降低而减小，未进入候选排名的框架权重为零。选出的   不包含   ，其中每个变体贡献一次新的执行尝试，共同组成前述救援组   。

Policy-aware profile re-anchoring 随策略学习定期更新行为画像。在检查点   ，方法冻结当前策略，收集其在各变体与 下的验证轨迹及结果，分别记为    和   ，再重新生成画像：

   

画像   包含适合使用与应当避免的任务条件及对应行为。成对执行使用相同的验证任务、初始状态和执行限制，画像与验证统计一同刷新，不使用测试结果。这一更新使路由依据持续反映各框架对当前策略的实际作用，从而适应框架相对效用随训练发生的变化。

03

主结果：回到原始框架，

收益仍然保留

检验能力是否进入模型，需要把训练后的模型放回   。论文以 DeepSeek Harness（DSH）为基础框架   ，在 Qwen3.5-4B 和 Qwen3.5-9B 上开展实验，覆盖应用 API 操作的 AppWorld、软件工程任务 SWE-Gym，以及数据库任务 DBBench。

评测同时报告 Pass@3，即三次尝试至少成功一次的任务比例，以及 Avg@3，即三次尝试的平均成功率。

图 3：论文主结果。H₀ 表示原始基础框架；H_best 表示对所有测试任务使用同一个选定框架；H_rank1 表示执行前为每个任务选择一个框架。结果为三次独立随机运行的均值，每次运行中每个任务执行三次；Harness-S 同时报告跨运行标准差。

在两个模型规模、三个任务集上，Harness-S 回到 H₀ 后都超过了普通 GRPO 和 H₀ 重采样救援基线。 以 4B 模型为例，AppWorld 的 Pass@3 从普通 GRPO 的 60.31% 提升至 67.56%，SWE-Gym 从 24.38% 提升至 38.75%。这些比较使用相同的测试框架，说明训练收益能够保留到原始执行环境中。

更有针对性的对照来自   重采样救援。 这一基线同样在初始尝试全部失败时追加探索，但继续使用原始框架。

Harness-S 在各个任务集和模型规模上仍然获得更高的 Pass@3 与 Avg@3，支持互补执行路径能够带来额外学习价值的判断。两者使用相同的失败触发规则和单任务救援分配，总采样量则会因救援触发频率而不同。

训练后的模型还可以继续利用任务级路由。 对同一个训练后模型，Rank-1 路由在三个任务集、两个规模上均进一步提高了两项指标；使用路由的 4B 模型也在全部报告指标上超过了采用   重采样救援的 9B 模型。这里，每个任务的执行尝试次数保持一致，路由决策本身仍有额外调用成本。

04

学习机制：互补性如何转化

为训练信号？

选择性救援提高了训练中具有成败对照的轨迹组比例。 论文将同时包含成功和失败轨迹的组称为 Effective Group（有效组）。

在 AppWorld 的 4B 实验中，Harness-S 在各训练阶段都具有更高的有效组比例，整个训练过程达到 79.38%，而   重采样救援为 70.94%。

图 4：AppWorld 上 Qwen3.5-4B 的训练分析。左、中分别统计有效组比例，以及有效组中的策略 token 占全部保留策略 token 的比例；右侧比较不同训练方法在 H₀ 下的验证集成功率。

这一优势也体现在实际参与优化的 token 上。 如图 4 所示，Harness-S 的有效训练 token 占比在各阶段同样最高，表明其收益并非只来自轨迹组数量的变化。

随着训练推进，模型在   下的验证表现也持续领先。这些结果支持了论文的核心解释：互补救援增加了可用于学习的成功路径，并使相应收益保留到共享策略中。

固定混合多个框架并未获得同样的训练收益。 论文比较了  与 Claude Code 的固定混合，以及 与多个 sibling harnesses 的固定混合。

在这组实验中，两者的有效组比例都接近普通 GRPO。结果提示，多样性的使用时机很重要：将互补支持集中到基础框架已经失败的任务上，更有利于产生新的奖励对照。

05

路由消融：选择谁来救援，

也需要随模型更新

相同的救援尝试预算下，候选选择与画像更新都会影响效果。 论文比较了随机选择、基于相似任务结果的规则路由，以及使用行为画像的大模型路由；同时对照了在较少框架下重复尝试和在更多框架下分别尝试。

图 5：AppWorld 上 Qwen3.5-4B 的救援策略消融。上半部分是各训练阶段的救援成功率，下半部分是在 H₀ 下的最终测试表现。Top-4 ×2 与 Top-8 使用相同的救援尝试数；Top-8 Fixed 与 Top-8 Adaptive 的区别是是否更新行为画像。

更新画像带来了比固定画像更好的恢复能力和最终表现。 如图 5 所示，在保持 Top-8 分配不变时，自适应画像在四个训练阶段的救援成功率均更高，最终 Avg@3 提高了 4.71 个百分点。

这一对照说明，随着策略能力变化，重新判断各变体的适用条件具有实际价值。

更广的互补探索在这组实验中也更有效。 完整方法为八个不同变体各分配一次尝试，比在四个变体下各尝试两次获得更好的救援成功率和最终测试结果。

结合前述互补性观察，这表明保留不同修复专长，可以为困难任务提供更多可用路径。

06

行为迁移：模型学到了哪些

可复用的做法？

任务分数之外，行为分析提供了能力保留的具体证据。 在原始框架下，Harness-S 训练后的模型更常在首次使用 API 前查阅接口定义，更少重复执行相同代码，也更常进行分页查询和写入后的状态检查。

在 SWE-Gym 中，模型更常编写断言、修改后重新验证失败目标，并在结束前检查代码差异。这些变化指向信息获取与验证方式的调整。

集合筛选案例展示了任务约束在新实例上的保留。 训练救援中，一个变体帮助模型正确选择“已点赞，且出现在曲库或播放列表中的歌曲”，随后完成邮件发送。

在未参与训练的测试实例上，GRPO 将相关集合取并集，发送了范围过大的列表；Harness-S 在   下保留了交集约束，完成了正确筛选与发送。

账号恢复案例展示了多步流程跨应用的迁移。 训练时，模型在辅助框架下完成了 Venmo 的验证码读取、密码重置和登录验证。

面对未参与策略训练的 Amazon 验证实例，GRPO 停留在请求验证码和读取邮件，Harness-S 则继续完成密码修改并验证新凭据。

这两个案例将训练中的成功救援，与之后在原始框架下出现的相应行为联系起来，为能力迁移提供了实例证据。

路由选择的变化也与模型对辅助框架依赖降低相一致。 在 AppWorld 的 4B 实验中，训练后   更常成为路由器的首选，Rank-1 相对   的性能差距也明显缩小。

结合行为案例，这些结果支持模型能够保留部分由辅助执行支持引导出的行为，同时专门的任务级支持仍能进一步改善表现。

07

跨框架泛化：换一种执行环境后，

能力是否仍有价值？

Harness-S 的训练收益也延续到了外部执行框架。 论文将 4B 模型直接放到 Claude Code 和 OpenClaw 下，在不进一步更新参数的条件下评测 AppWorld 与 SWE-Gym。Harness-S 在所评测的每种框架和任务组合中，都取得了最高的 Pass@3，包括超过固定混合框架训练的 GRPO。

图 6：跨框架泛化结果。比较不同训练方法得到的模型在三个执行框架下的 Pass@3；图中标注为 Harness-S 相对普通 GRPO 的百分点提升。迁移到外部框架后不再更新模型参数。

泛化结果支持了行为的可复用性，也显示执行接口仍然重要。 Harness-S 在外部框架下保持了相对其他训练方法的优势，但绝对表现仍低于其在原始   下的表现。模型学到的做法可以跨框架发挥作用，具体的上下文与执行支持仍会影响这些做法成功落地的可靠性。

08

研究启示：

让执行经验成为模型的训练资源

Harness-S 为 Agent 训练提供了一种利用框架多样性的路径。定向演化保留不同修复专长，选择性救援把这些专长用于模型已经失败的任务，自适应路由则持续匹配当前策略与执行支持。多个框架由此提供可用于强化学习的经验，最终服务于同一个模型。

这一方向仍有进一步扩展的空间。 当前方法研究的是共享执行基础的同源变体；更大范围的框架复用、不同策略之间的长期迁移，以及多样性收益与画像更新成本之间的关系，仍需要进一步研究。

这项工作的启示在于，执行框架既能帮助模型完成当前任务，也能为模型学习提供新的成功路径。 当这些路径能够通过训练保留下来，针对局部失败的工程经验，就有机会转化为更广泛可用的 Agent 能力。

END

关注+星标，获取AI前沿进展与开源一线动态