生成式奖励模型（GRM）虽通过思维链（CoT）提升了信号质量，但其“一刀切”的推理策略导致简单与复杂样本消耗同等算力，造成资源浪费。腾讯混元与新南威尔士大学联合提出的 E-GRM（Efficient Generative Reward Modeling）框架，创新性地将模型内部不确定性转化为计算资源调度信号：仅对高难度样本投入完整 CoT 推理，其余样本走短路径直接输出。本文将从问题背景、动态路由机制、判别式评分器及训练实验四个维度对该框架进行深度解析。
收录会议：ACL 2026
arXiv 链接：https://arxiv.org/abs/2604.10072
一、问题背景与动机
1.1 静态推理：GRM 绕不开的效率瓶颈
奖励模型是 RLHF 流程的核心组件。从标量奖励模型演进至生成式奖励模型（GRM），推理链的引入显著增强了信号的可解释性与判别力，但也暴露了固有的效率缺陷：
1.资源同质化：无论是简单的安全判断还是复杂的数学证明，GRM 均执行相同深度的 CoT 生成，导致简单样本被迫消耗与复杂样本相同的 FLOPs。
2.投票机制信息损失：传统 GRM 依赖多数投票决定答案，这种离散决策无法区分“推理正确”与“巧合蒙对”，导致奖励信号噪声较大。
1.2 E-GRM 的核心洞察：把不确定性变成调度信号
E-GRM 的核心观察在于：模型的解码行为隐含着问题复杂度的信息。若多次解码输出高度一致，说明模型把握充分，追加 CoT 属冗余计算；若输出高度分散，则表明问题超出模型“直觉”，需深度思考。基于此，E-GRM 将不确定性从“风险信号”重新定义为“计算资源调度信号”，构建了先快速判断、再按需投入的智能路由框架。
二、E-GRM 方法论：动态路由视角
2.1 共识度：路由决策的核心指标
给定输入，E-GRM 首先执行多次并行解码（使用不同采样温度与 top-p 参数），得到初始响应集合。共识度定义为最频繁答案的出现频率占比。该指标值域为 [0, 1]，1.0 表示完全一致，接近 0 表示高度发散。其具备取值有界、计算成本极低（仅多解码数次）且与问题难度呈强单调关系三大优良性质。
2.2 动态路由：基于阈值的二元决策
基于共识度，E-GRM 执行二元路由决策：
•短路径：直接输出共识答案，完全跳过 CoT 生成，计算成本仅为完整流程的 15-20%。
•长路径：触发 K 条 CoT 链生成、判别式评分及最优选择的完整推理流程。
阈值经网格搜索确定，在 MATH 数据集上对应准确率陡降点之前，实现了效率与精度的帕累托最优。
2.3 并行解码的工程实现
为压低路由决策开销，E-GRM 将多次解码组织在同一 GPU 批次内并行执行，借助张量核心将额外延迟控制在 5% 以内；同时通过差异化采样参数保证多样性，避免“伪共识”。
2.4 判别式评分器：替代投票的连续质量信号
进入长路径后，E-GRM 生成多条候选推理链，使用基于 BERT 编码器的判别式评分器替代传统投票机制，输出连续分数。评分器参数量约 1 亿，将提示和推理链拼接编码后映射为分数。
评分器采用混合损失训练：Huber 损失兼具精细调优与抗噪声能力；铰链损失自动聚焦难例，优先保证回归精度。
2.5 Huber 损失的数学形式
Huber 损失定义为分段函数：当预测误差小于阈值时使用 L2 损失提供精细梯度；超过阈值时切换为 L1 损失，防止异常标签产生过大梯度，保障训练稳定性。
2.6 两阶段训练体系
SFT 阶段：根据动态触发将训练集划分为短路径集和长路径集，让模型同时具备“快答”与“慢思考”能力。
扩展 GRPO 阶段：在标准 GRPO 基础上引入成对对比奖励，优化目标平衡离散答案正确性与连续推理质量。
图 1：E-GRM 的完整框架，涵盖从动态不确定性的量化到判别式评分器的整体流程。
图 2：Coupled-GRPO 的成对偏好奖励机制，使用评分器差值作为质量对比信号。
图 3：E-GRM 训练与推理完整流程。
三、实验评估
3.1 核心效率指标
在 MATH 数据集上，E-GRM 表现优异：58% 的样本进入短路径直接输出；延迟从 3.8 秒降至 2.2 秒（降低 62%）；FLOPs 从 23.7T 降至 15.7T（降低 49%）；准确率从 75.1% 提升至 78.4%（提升 3.3%），实现了“既快又准”的双赢。
3.2 基准测试表现
|
|
|
|
|
|
79.2% |
|
|
|
0.743 |
|
|
|
91.5% |
|
3.3 消融实验
|
|
|
|
|
|
|
78.4% |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
消融实验显示，完整框架的增益大于单独移除各模块的损失之和，证明动态触发与评分器存在正向协同效应：动态触发筛选出真正需要评估的复杂样本，使评分器能聚焦最有判别价值的对象。
3.4 路由质量与规模扩展
短路径样本人工抽样准确率达 94.3%，证实高共识度对应简单样本；长路径样本相比传统 GRM 提升约 2.3%，验证了评分器的有效性。从 7B 到 32B，E-GRM 性能随规模提升显著，且大模型优势主要集中在复杂推理的长路径样本上。
3.5 完整推理管道
推理阶段流程：(1) 对输入执行多次并行解码；(2) 计算共识度并做出路由决策；(3) 短路径直接输出共识答案；(4) 长路径生成多条 CoT；(5) 评分器对每条链打分；(6) 选择最高分输出。
四、贡献与局限
4.1 核心贡献
1. 首次将模型内部不确定性从“风险信号”拓展为“计算资源调度信号”，开创了按需推理的新范式。
2. 混合损失评分器在校准性与区分度之间取得最优平衡，以连续质量信号替代离散投票。
3. 统一的动态触发 + 评分 + 优化框架，对模型规模与任务类型保持稳定增益。
4.2 局限与展望
1. 并行解码引入约 5% 固定延迟，在极低延迟场景仍需进一步优化。
2. 固定阈值在专业领域可能需要自适应校准。
3. 评分器在分布外推理风格上的泛化性有待验证。
五、结语
E-GRM 通过“共识度”这一简洁信号，实现了延迟降低 62% 的同时精度提升 3.3%，验证了“减少不必要的推理”这一效率优化思路的有效性。动态路由机制让奖励模型首次真正实现“智能分配算力”，为大模型的高效部署提供了可复用的方法论模板。
六、延伸思考
6.1 动态路由的范式转换意义
E-GRM 将视觉领域成熟的“动态计算分配”思想系统化地引入奖励建模领域。其最具原创性的贡献在于将“模型自身的不确定性”作为路由信号，而非简单的技术迁移。
6.2 智能资源分配的未来空间
未来的 LLM 推理系统将不再是“一刀切”的等长推理，而是根据问题难度、用户场景及 SLA 要求动态分配计算资源。E-GRM 的动态路由是这一方向的早期里程碑，其设计思路有望成为通用模板。
图表附录：
附图 1：Coupled-GRPO 中配对奖励函数公式。
附图 2：扩展 GRPO 优化目标公式。
参考文献：
Xue, C., Wang, Y., Liu, M., Zhang, H., Chen, K., Li, X., et al. (2026). Reason Only When Needed: Efficient Generative Reward Modeling via Model-Internal Uncertainty Estimation and Dynamic Routing Mechanisms. *Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026)*, Main Conference Track, Long Papers. Association for Computational Linguistics. arXiv:2604.10072
相关工作可进一步参考 RLHF 奖励建模、生成式奖励模型（GRM）、思维链（CoT）推理优化、模型不确定性量化、动态计算分配以及高效大语言模型推理等方向的最新研究成果。
版权说明：本文为对上述 ACL 2026 论文的学术解析，仅供学术交流使用。版权归原作者所有。