POPO 团队投稿 | 量子位
大模型强化学习后训练（RLVR）中，最昂贵的成本往往不是反向传播，而是生成长链推理答案的过程（rollout）。在 RLVR 训练中，模型需对每个提示词生成多条回答以获取奖励信号。然而，一个常被忽视的问题是：并非每一组 rollout 都能提供有效的训练信号。
若某提示词下的所有回答全对或全错，奖励方差为零，导致 GRPO 等算法的优势项消失，样本对参数更新几无贡献。针对这一痛点，清华大学自动化系团队提出了POPO（Group Prioritized Off-Policy Optimization）框架。
POPO 的核心策略是不再为无效样本额外生成 rollout，而是利用最近缓存的高质量有效组替换当前批次中的无效组，并通过解耦式 off-policy 重要性采样稳定更新。实验表明，在数学推理、数值规划及视觉几何任务中，POPO 仅需约 30% 的 rollout 预算即可达到与高资源 DAPO 相当的性能，显著提升了训练效率。
RLVR 训练中的“无效样本”困境
RLVR 的优势在于奖励可自动验证（如数学题对错），无需人类偏好打分。但在 GRPO 等方法中，模型对同一提示词生成一组回答并计算组内相对优势。若组内回答全对或全错，奖励方差为零，相对优势退化，无法提供有效梯度。
论文将此类情况定义为无效样本（ineffective sample）。在实际训练中，过易或过难的题目极易产生此类样本，导致大量算力消耗却无实质学习效果。
现有优化方案的高昂代价
为解决无效样本问题，现有方法主要存在以下局限：
- 主动采样（Active Sampling）：以 DAPO 为代表，通过扩大候选批次并过滤无效组来保留有效样本。虽效果显著，但需额外生成大量回答，rollout 成本极高，甚至超过训练本身。
- 预测式采样（Predictive Sampling）：尝试预测提示词成功率以选择中等难度样本。但模型能力动态变化导致预测不稳定，且可能系统性避开高难度的关键问题。
- 轨迹回放（Trajectory Replay）：插入历史成功轨迹。但这未解决提示词层面的无效性，且混合不同策略生成的轨迹会导致行为策略不一致及 off-policy 偏差难以处理。
POPO 核心机制：组级回放与高效补齐
POPO 的创新在于不增加额外 rollout，而是维护一个小型回放缓冲区（replay buffer），存储近期训练中出现的有效响应组（response group）。
训练时，系统将当前批次的响应组分为两类：有效组（奖励方差大于 0）和无效组（奖励方差等于 0）。POPO 保留有效组，并从缓冲区提取最近的有效组填补无效组的位置，从而构建全由有效样本组成的训练批次。
△ POPO 框架示意图：过滤当前 batch 中的无效组，由缓存的高质量 off-policy 有效组补齐，并采用解耦式重要性采样优化
为何选择“组级”而非“轨迹级”回放？
POPO 采用优先级组回放（prioritized group replay）。不同于在响应级别插入单条历史回答（这会破坏组内一致性），POPO 在组级别进行回放，即整个响应组均来自同一历史策略。
此举带来两大优势：一是回放对象本身即为方差非零的有效组，直接提供学习信号；二是整组数据行为策略一致，便于后续进行清晰的 off-policy 校正。缓冲区筛选标准包括质量（方差非零）和时效性（优先回放近期数据，以近似当前策略分布）。
解耦式 Off-Policy 优化确保稳定性
针对回放数据带来的 off-policy 偏差，POPO 引入解耦式 off-policy 优化（decoupled off-policy optimization）。该机制将角色拆分：行为策略用于说明数据来源，近端约束策略用于限制当前更新幅度。
通过对回放样本使用重要性采样校正偏差，同时保持与 on-policy 样本一致的信任域约束，POPO 既修正了分布偏差，又保障了策略更新的稳定性。
多任务实验验证：效率与性能双赢
研究团队在数学推理（DeepScaleR）、数值规划（Countdown）和视觉几何（Geometry3k）三类任务上评估了 POPO。对比基线包括 GRPO、DAPO、MoPPS 及 ARPO 等。
△ Geometry3k 视觉几何任务示例
训练收敛更快，有效样本比例更高
训练曲线显示，POPO 在多个任务上的收敛速度快于 GRPO、ARPO 和 MoPPS，最终准确率接近高资源的 DAPO。普通 GRPO 批次中有效样本比例通常低于 50%，而 POPO 通过回放机制使训练批次始终保持高有效性，通常仅需 40%–70% 的训练步数即可达到 GRPO 的最终性能。
△ 不同方法训练曲线对比：POPO 提升迅速且接近 DAPO
△ 训练 batch 中有效样本比例对比
主结果：大幅降低 Rollout 与时间成本
实验数据显示，POPO 在性能持平甚至略优的前提下，显著降低了资源消耗：
- 数学推理（DSR-7B）：POPO 分布内平均分 63.3（DAPO 为 63.2），训练时间从 55 小时降至 34 小时。
- 数值规划（Countdown）：POPO 准确率 60.4（DAPO 为 61.5），但 rollout 数仅为 205k（DAPO 为 877k），训练时间从 5.6 小时降至 3.2 小时。
- 视觉几何（Geometry）：POPO 得分 50.0（DAPO 为 50.6），rollout 数从 1438k 降至 492k，训练时间减半。
总体而言，POPO 仅需约 30% 的 DAPO rollout 预算即可达成相近效果。
△ 各任务评测结果：POPO 以更低成本实现接近 DAPO 的性能
△ Rollout 数量与性能关系图
消融实验证实关键设计必要性
消融研究表明：基于时效性的回放策略比计算 KL 散度更高效；仅过滤不补齐会导致批次变小噪声增大；回放陈旧数据或忽略 off-policy 校正均会导致性能崩溃。POPO 的完整设计（最近有效组 + 解耦优化）表现最佳。
△ 消融实验结果分析
通用性与扩展性分析
POPO 在不同响应组大小（k=4~32）下表现稳定，且不仅适用于 GRPO，结合 RLOO 和 PPO 后同样能提升效率。此外，POPO 可与主动采样方法（如 MoPPS）结合，进一步提高在线有效组比例。
△ 不同设置下的稳定性分析
总结：从“多生成”走向“少浪费”
POPO 的核心价值在于揭示了 RLVR 训练的瓶颈：大量 rollout 因缺乏组内差异而失效。不同于 DAPO“多生成、多筛选”的高耗思路，POPO 主张“少浪费”，通过复用已产生的高质量有效信号，以极低的额外成本实现高效训练。
随着模型推理链增长，rollout 成本日益高昂。POPO 证明了通过精细化利用训练信号，可在不牺牲性能的前提下大幅降低资源门槛，为大模型后训练提供了新的优化范式。
论文信息
论文标题：RLVR without Ineffective Samples: Group Prioritized Off-Policy Optimization for LLM Reasoning
作者团队：清华大学自动化系季向阳教授团队（主要作者：毛逸休等）
论文地址：https://arxiv.org/pdf/2606.01281v1