General Reasoning 团队在《How to Train a Swarm》中介绍了 Avalon-M1 的训练思路:通过时间限制和共享奖励,让 Agent 学会分工与协作,实现群体推理时扩展。以下是全文翻译。
最近几个月,Agent 蜂群颇受关注。9 月,OpenAI 用一支蜂群在 88 小时内给出了纳维–斯托克斯千禧年难题的一个解。[1,2] 蜂群也引发过引人注目的安全事件,例如 Hugging Face 事件:Agent 通过一个未经授权的留言板协调网络攻击。[3,4] 尽管声量渐高,公开讨论如何用强化学习训练蜂群的工作仍然很少。
蜂群是一种“Agent 集体”:多个 Agent 为了共同目标协作的 AI 系统。最近,我们公开了一套训练 Agent 集体的方法,称为基于集体奖励的强化学习,即 RLCR(Reinforcement Learning from Collective Rewards)。[5] 它的核心是一个简单的策略梯度算法:所有 Agent 共享策略,并采用统一的集体优势值;同时通过时间限制施加延迟压力,激励它们协调工作。
我们这项研究的一个核心目标,是实现群体推理时扩展:让 Agent 扩大并行完成的有效工作量,以及为此所需的沟通。设计得当的强化学习设置,应当奖励更快完成工作,从而激励并行使用推理算力。如果工作本身无法完全并行化,Agent 就应当能通过相互沟通、协调工作而获益。
群体推理时扩展,可以看作加入延迟约束或惩罚后的推理范式扩展。不过,与推理模型不同,强化群体行为需要走一条间接的路。任务奖励本身并没有明确激励并行工作,因此,训练设置必须让更快完成工作获得回报,以此鼓励并行。
本文会介绍如何为并行工作设计激励,包括我们在 RLCR 方法中采用的做法。不过,我们先以现有的推理范式为例,谈谈强化学习中的激励设计。
为强化学习设计激励
推理范式表明,强化学习可以激励策略在作答前使用更多推理算力。模型学会了检查自己的工作、回溯和考虑其他方案,因为这些做法有助于提高预期回报。[6,7]
这种方法尤其巧妙的地方在于,只要强化学习设置正确,为了激励策略“多想一会儿”,其实不需要太多手工设计。强化学习过程中,策略可以探索不同的解题方式;使用检查和考虑替代方案等策略的 rollout,平均表现会更好。
OpenAI 发布 o1 时,有一张著名的图展示了训练时算力和测试时算力分别与表现的关系:
随着训练时算力和测试时算力增加,o1 的表现都会提升
后来,DeepSeek-R1 的图也呈现了类似趋势:在训练过程中,回答长度与准确率一起上升。[7]
随着准确率提升,DeepSeek-R1-Zero 的推理也变得更长
这就是推理模型的推理时扩展模式:模型学会在回答之前多思考。
一个常被忽略的事实是,朴素的强化学习设置并不保证出现这种扩展模式。因此,如何设计激励、让强化学习学到正确行为,非常重要。
例如,超参数选错了,就可能过度惩罚推理长度,使推理时扩展无法出现。如果沿用几年前常见的 PPO 配方,采用 γ < 1 和/或 λ < 1,你很可能看不到这种扩展模式。DeepSeek-R1 发布后不久,Open-Reasoner-Zero 等工作就展示了这一点:[8]
有偏的优势估计可能让推理长度崩塌。在 Open-Reasoner-Zero 的消融实验中,GAE λ = 1 的 PPO 会持续延长回答,而 λ = 0.95 时,回答长度在大约 50 步内就崩塌了。
另一个决定成败的因素,是底层先验有多强,具体来说,就是基础模型是否足够强,能够启动学习。较弱的基础模型接触高质量数学数据较少,也更难探索并强化有效的推理时策略。OpenAI 率先摸索出核心方法,并坚定投入这个研究方向,值得高度肯定;不过,它也占据了有利位置:比其他团队更早拥有 GPT-4 水平的基础模型。
所以,要激励出正确的行为,强化学习的设置很重要。
再看今天,模型已经开始承担长时程工作。推理模型成功解决了语言模型的许多可靠性问题,但它们顺序执行的特点带来了较高延迟。这使它们在长时程任务中遇到了困难。
并行推理方法的潜力,在于可以拆分工作,更快完成长时程任务。Agent 集体中的单个 Agent 仍然可以顺序推理,但整个集体可以并行开展工作,避开串行瓶颈。
那么,怎样激励策略把工作并行化?
让并行工作获得回报
下图比较了三种使用推理算力的方式:顺序执行、不沟通的朴素并行,以及能够相互沟通的 Agent 集体。
三种消耗大致相同推理算力的方式
假设三种方式都能得到可接受的答案,我们更希望采用延迟最低的那一种。当独立尝试已经足够时,沟通可能只会增加不必要的开销。当任务无法完全并行化、Agent 需要共享中间结果或合并互补工作时,协调才有价值。
共享奖励可以强化那些能改善答案的协调行为。但当回报相同时,一个与时间无关的目标,并不会偏好更快的方式。因此,我们需要让更快完成工作获得回报。
延迟惩罚
一种激励方式,是显式加入延迟惩罚。DeepSeek-V4.1-Flash 的 Agent 团队训练采用过这种技术,但没有公开具体的函数形式。[9] 一种可能的形式,类似于推理长度惩罚:[10]
其中,T(τ) 是 rollout τ 的实际耗时,T_max 是时间限制,p̄(q) 是任务 q 各次 rollout 的平均通过率,β 控制惩罚强度。
这是一种有明确依据的延迟处理方式,但它也有几个缺点:
-
可能与推理投入等其他量产生负面相互作用。 -
我们是否希望对所有时长的 rollout 都施加延迟压力,还不清楚。 -
T(τ) / T_max 在不同任务之间可能相差很大,而且高度依赖 T_max。
时间限制
另一种方式,是只用时间限制 T_max 来产生延迟压力,Avalon-M1 采用的就是这种方法。T_max 是实际耗时上限这一超参数。rollout 达到上限时,我们把截至该时刻的总回报作为这次 rollout 的回报。这会激励策略在时间耗尽前取得尽可能多的进展。
时间限制让我们能够在预计集体协作有用、协调应当带来收益的时间尺度上施加延迟压力。
下图展示了 Avalon-M1 如何通过随训练逐步增加的实际耗时上限来施加延迟压力。我们逐步提高时间限制,让策略随着训练推进,学会在更长的时间跨度上协调。这也给了 Agent 集体更多时间,收回协调在初期产生的成本。单 Agent 的协调开销较小,因此通常在早期进展更快。
通过逐步提高实际耗时上限来施加延迟压力
在这种设置中,环境设计至关重要。我们为 Avalon-M1 构建了长时程环境,要求它们具备“随时可计算回报”的特性:可以随时停止 rollout,并衡量中间进展。例如,在长时程软件工程任务中统计通过的测试数量,或在金融交易环境中计算收益。我们可以在达到时间上限时停止一组 rollout,奖励其中回报相对较高的那些。
这样就不必在任务奖励中显式加入延迟惩罚,不过,截止时间及其调整安排仍是重要的设计选择。与显式延迟惩罚不同,截止时间不会奖励每一次完成时间的缩短。两个 rollout 只要都在截止时间前取得相同的任务回报,得分就相同,即使其中一个更早完成。
延迟惩罚和时间限制,都可以施加延迟压力。但仅靠延迟压力,还不足以训练 Agent 集体。Agent 还需要沟通原语,才能分工、避免重复劳动并交接工作。下面来看这些原语。
沟通原语
Kimi K2.5/K2.6:只训练编排 Agent,子 Agent 保持冻结。编排 Agent 向子 Agent 下达任务,子 Agent 返回结果。K2.6 最多可使用 300 个子 Agent。
Avalon-M1:每个 Agent 都参与训练,采用同一个集体奖励。任何 Agent 都可以通过频道、私信和档案库沟通。组织由一个 CEO Agent 和最多 8 个专家 Agent 组成。
OpenAI:训练方式未公开,训练时的 Agent 数量远少于部署时。Agent 在组内沟通,组间不沟通;图中的留言板是我们的假设。得到纳维–斯托克斯问题解答的那个组,约有 10,000 个 Agent。
集体如何沟通与协调,是最重要的设计选择之一。Agent 之间的私信是一个核心原语;公共频道或“留言板”则允许 Agent 广播那些不仅对某一次对话有用的信息。另外,问题看板和知识档案库虽然不是必需的,但很常见,它们有助于分工,并在集体共享的知识上继续推进。
研究者应当始终把这些原语设计得简单。我们希望 Agent 自己发现如何合作,而不是让 harness 带来过多预设。提前施加结构,可能有助于初期表现,但也可能妨碍策略发现更好的合作方式。
实际系统中,当前的 Agent 集体确实带有一定结构。Kimi 的 Agent Swarm 使用经过训练的编排 Agent,把任务交给冻结的子 Agent。[11] Avalon-M1 使用可以雇用和解雇成员的 CEO Agent,但所有 Agent 都能彼此沟通。[5] OpenAI 的纳维–斯托克斯系统采用“岛屿”式方法,把 Agent 分成不同组,并用不同的问题表述提示各组。[1] 这些都是如何划分工作的先验;理想情况下,未来的系统应当自行找出合适的结构。
当强化学习设置既施加了延迟压力,又为 Agent 提供了相互沟通和协作的原语,下一步就是衡量训练过程中的学习进展。
学习的迹象
只看奖励曲线,并不能判断集体是否学会了有效使用并行推理算力。因此,我们会衡量集体在环境中完成的工作、成员如何沟通,以及集体是否改善了表现与延迟之间的权衡。
更大的集体应当完成更多有效工作。如果 Agent 正在学会分工、减少沟通开销,那么更大的团队应当能在环境中完成更多“有效”工作。我们用一个代理指标衡量有效工作:统计所有对环境采取行动的轮次所产生的输出 token 和推理 token,例如运行命令、编辑文件、执行测试等;再把每次 rollout 与该环境的平均有效工作量比较。在 Avalon-M1 中,雇用 5~8 个 Agent 的集体,起初有效工作量低于平均 rollout,但到第 200 步时,已经接近平均值的两倍。
随着训练推进,更大的集体会在环境中完成更多工作
如果协调确实有益,Agent 应当会更多地沟通。在 Avalon-M1 中,随着训练推进,Agent 会把更多算力用在沟通上。这与更多使用协调行为的情况一致,不过,沟通量本身并不能证明沟通有用。为了排除较长运行自然会带来更多沟通的影响,我们按 rollout 时长进行归一化。可以看到,不同环境上的归一化表现、总推理时算力和沟通强度一起上升。
群体推理时扩展
沟通可以帮助 Agent 分工、避免相互冲突,以及检查或整合彼此的贡献。但沟通也会消耗本可以用于工作的宝贵时间,因此收益必须大于成本。
集体应当更早达到相近得分。给单个 Agent 与集体相同数量的输出 token,它也能获得集体带来的很大一部分性能提升,只是需要更长时间。在 Avalon-M1 中,Agent 集体由于协调开销,起步较慢;但过了初始阶段,最终会领先于单 Agent 基线。在 token 预算相同的条件下,单 Agent 基线耗时是 Agent 集体的 4 倍。在 EdgeBench 衡量的长时程工作中,一个雇用 8 个 Agent 的组织,在约 2.4 小时的推导延迟处超过单 Agent 基线。
延迟对比第 1~3 组。黑色为单 Agent,灰色为相近 token 数下延长思考的单 Agent,红色为最多雇用 8 个 Agent 的集体。横轴为推导延迟。
延迟对比第 4~6 组。黑色为单 Agent,灰色为相近 token 数下延长思考的单 Agent,红色为最多雇用 8 个 Agent 的集体。横轴为推导延迟。
延迟对比第 7~9 组。黑色为单 Agent,灰色为相近 token 数下延长思考的单 Agent,红色为最多雇用 8 个 Agent 的集体。横轴为推导延迟。
延迟对比第 10~12 组。黑色为单 Agent,灰色为相近 token 数下延长思考的单 Agent,红色为最多雇用 8 个 Agent 的集体。横轴为推导延迟。
EdgeBench 得分随时间变化:单 Agent 与最多雇用 8 个 Agent 的集体对比。
尚待解决的问题
我们在村庄里训练 Agent,却把它们部署到城市里
延迟压力,加上合适的沟通原语,为训练 Agent 集体提供了一套基本方法。但这个新研究领域仍处于起步阶段,集体规模扩展还面临许多困难,包括:
村庄问题。训练时和部署时,集体规模可能相差很大。例如,最初的 Avalon-M1 模型只训练了最多 9 个 Agent 的组织,但如今部署的蜂群已经包含数百甚至数千个 Agent。[12,1] 实际上,我们是在村庄里训练集体,却把它们部署到城市里。哪些能力能够从小规模泛化到大规模,以及测试时使用远大于训练规模的集体后会涌现出什么,我们都还不知道。
难以兼顾的三角。统一的集体优势值是一种粗粒度的学习信号。长时程,以及多个 Agent 共享奖励,会让信用分配更加困难;而在许多环境中共同训练,又使每类任务用来估计有效更新的样本更少。我们已经让这一简单方法在小规模上跑通,但还不清楚,它能否扩展到规模大得多、episode 更长的集体。
RLCR 难以兼顾的三角
构建共享环境。在我们目前的训练方法中,不同 rollout 彼此隔离。但更开放的设置,可以让 rollout 与未来一代代 Agent 共享工作成果,例如发表论文或发布代码库。如果一个 rollout 对公共利益作出贡献,却无法在当前 episode 中直接受益,我们还不知道应当如何奖励它。在按 episode 计算回报的方式下,如果一项贡献的收益只在后续 episode 中出现,作出贡献的 rollout 就得不到任何奖励。
结语
推理范式表明,强化学习能够激励模型有效利用额外的推理时算力。群体推理时扩展则把这一原则推进到 Agent 之间如何组织算力。当并行工作能够更早产出结果时,训练设置就应当让更低延迟带来收益,进而激励 Agent 通过沟通协调。Avalon-M1 展示了如何激励这种行为的一个早期案例。
这个新研究领域仍有许多待解问题,包括从训练时的小规模集体泛化到测试时的大规模集体、更好的信用分配,以及在训练时学会更高级的群体行为。
关于我们如何初步处理这个问题,可以阅读 Avalon-M1 技术报告了解更多细节。训练结束后,我们会在接下来的几周发布完整论文。
引用
如需引用 RLCR 和 Avalon-M1 请使用:
@misc{generalreasoning2026avalonm1,
title={Avalon-M1: Reinforcement Learning from Collective Rewards},
author={Iliyan Zarov and Henry Course and Anthony Hartshorn and Ran Achiron and Louis Roche and Akshit Sinha and Chengxi Taylor and Ross Taylor},
year={2026},
publisher={General Reasoning},
url={https://gr.inc/avalonm1.pdf},
}
参考链接
-
原文:https://www.gr.inc/blog/how-to-train-a-swarm -
[1] OpenAI. On the Navier–Stokes Millennium Prize Problem. September 2026.:https://openai.com/index/navier-stokes-solution/ -
[2] K. Kakaes. AI has solved one of math’s $1 million Millennium Prize Problems. Quanta Magazine, 8 September 2026.:https://www.quantamagazine.org/ai-has-solved-one-of-maths-1-million-millennium-prize-problems-20260908/ -
[3] OpenAI. The Hugging Face incident and the road ahead. 2026.:https://openai.com/index/hugging-face-incident-and-the-road-ahead/ -
[4] METR. Brief independent investigation of agents’ behavior, reasoning and collaboration in the OpenAI / Hugging Face hacking incident. August 2026.:https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/ -
[5] General Reasoning. Avalon-M1: Reinforcement learning from collective rewards. Technical report, October 2026.:https://www.gr.inc/avalonm1.pdf -
[6] OpenAI. Learning to reason with LLMs. September 2024.:https://openai.com/index/learning-to-reason-with-llms/ -
[7] DeepSeek-AI. DeepSeek-R1: Incentivizing reasoning capability in LLMs via reinforcement learning. arXiv:2501.12948, 2025.:https://arxiv.org/abs/2501.12948 -
[8] J. Hu, Y. Zhang, Q. Han, D. Jiang, X. Zhang and H.-Y. Shum. Open-Reasoner-Zero: An open source approach to scaling up reinforcement learning on the base model. arXiv:2503.24290, 2025.:https://arxiv.org/abs/2503.24290 -
[9] DeepSeek-AI. DeepSeek-V4.1-Flash: Pushing the limits of KV cache compression. arXiv:2609.19969, 2026.:https://arxiv.org/abs/2609.19969 -
[10] V. Xiang, C. Blagden, R. Rafailov, N. Lile, S. Truong, C. Finn and N. Haber. Just enough thinking: Efficient reasoning with adaptive length penalties reinforcement learning. arXiv:2506.05256, 2025.:https://arxiv.org/abs/2506.05256 -
[11] Kimi Team. Kimi K2.5: Visual agentic intelligence. arXiv:2602.02276, 2026.:https://arxiv.org/abs/2602.02276 -
[12] Kimi Team. Kimi K2.6. Moonshot AI release note and model card, April 2026.:https://www.kimi.ai/blog/kimi-k2-6 -
RLCR:https://www.gr.inc/releases/avalon-m1

