MemoraX AI × 天津大学 × 阿里巴巴｜NeurIPS 2026：如何让大模型训练更有效？

在大模型RL训练中，推理引擎负责生成回复，训练引擎负责计算概率和更新参数。vLLM、SGLang与Megatron、FSDP等不同系统组件，在数值精度、解码实现和计算后端上可能存在差异。这意味着，即使模型参数保持同步，训练策略π与实际用于采样和部署的推理策略μ仍可能不相同。

这种训练—推理不一致（training-inference mismatch），会在训练中引入特殊的离策略偏差。已有方法通过重要性采样修正、异常样本过滤、学习率衰减或底层系统优化缓解问题，帮助训练过程保持稳定。

这项研究进一步提出了一个目标层面的追问：即使训练端的更新是有效的，同步后的推理策略是否也获得了提升？当π与μ存在差异时，“训练策略变好”并不自动意味着“推理策略变好”。这一目标错位，正是提出MIPI原则的出发点。

因此，这项研究将关注点从训练策略自身的改进，转向相邻两次推理策略之间的性能变化：一次更新的价值，应当最终体现在实际生成答案的策略上。

论文的创新包含两个层次：MIPI提出新的优化目标与策略改进原则，MIPU提供落实该原则的一种具体方法。理解两者的区别，是理解这项工作的关键。

经典策略优化通常围绕训练策略的改进展开。在训练与推理使用不同引擎时，仅以训练策略作为优化对象，便可能与实际部署需求发生错位。MIPI将优化目标直接定义在推理策略的迭代轨迹上：希望每次更新后，真正用于生成答案的策略都能获得改进。

记J为策略的期望回报、μ为推理策略，MIPI所追求的目标为：

创新的关键在于改变“以谁的改进为目标”。在训练—推理不一致的条件下，研究将推理策略的改进明确确立为策略优化原则，使优化目标与实际使用模型的方式对齐。这一思想具有独立于具体更新规则的价值，可以指导不同的算法实现。

MIPI本身并不限定必须采用某一种重要性采样权重、差距估计器或回滚阈值。论文提出的MIPU是沿这一原则设计的一种实现框架，后续也可以探索其他面向推理策略改进的优化方案。

为了把这一原则转化为可分析、可设计的优化过程，论文进一步区分训练策略π与推理策略μ，将推理策略的改进分解为三部分：

这一分解揭示了：训练端更新只占推理策略改进的一部分，更新前后的训练—推理差距也会影响最终收益。它为围绕推理策略改进设计方法提供了依据。

基于上述分解，MIPU把实现路径组织为两个互补步骤：第一步针对“训练端更新＋更新前推理差距”，构造以实际采样策略为参照的候选更新；第二步检查更新后的推理差距信号，决定是否接受同步后的候选。两步共同覆盖MIPI分解中的三项。

图1 | 从MIPI原则到MIPU实现。MIPI将推理策略改进确立为目标；MIPU通过候选更新与同步后验收两步，给出落实该原则的一种具体框架。（论文图1）

常规GRPO更新使用新旧训练策略的概率比，而训练样本实际由推理策略生成。MIPU在第一步中引入采样策略参照，并将总概率比拆成两项：

其中，第一项修正更新前已经存在的训练—推理不一致，第二项描述当前训练更新的幅度。将两者分开，能够避免把既有差距误当作本次更新过大的信号。

在具体实现中，MIPU采用TIS式截断重要性采样：限制不一致修正权重的上界，同时仅对当前更新比率施加PPO式裁剪。这样既保留了对采样分布的修正，又避免极端权重过度放大梯度方差。

这一步提供更合理的候选模型，但候选模型同步到推理引擎后能否兑现收益，还需要进一步检查。

候选模型同步后，MIPU使用新的推理策略在验证批次上生成回复，结合组内相对优势与长度归一化的概率比，计算更新后推理差距的代理量。

直观地说，如果推理端相较训练端，为优势为正的回复分配了偏低的概率，或为优势为负的回复分配了偏高的概率，那么训练端预期的收益就可能在同步后打折。该代理量用于识别这类风险。

当代理量满足容忍阈值时，系统接受候选更新；否则恢复上一检查点中的模型参数、优化器状态和推理策略。论文还采用了早期较宽松、随后逐渐收紧的动态容忍阈值，避免训练初期过度拒绝有价值的探索。

MIPI提出单调推理策略改进原则；本文的MIPU通过代理信号和容忍阈值近似落实这一原则。

实验以MIPU这一具体实现，检验MIPI思想所启发的优化设计在高不一致场景下的效果。研究以Qwen3-1.7B与Qwen3-4B为基础模型，采用FP8量化采样，考察量化推理放大训练—推理差异时的表现。

评测覆盖MATH-500、AIME24、OlympiadBench、Minerva和AMC23五项数学推理基准，比较标准GRPO、MIS、学习率衰减与MIPU。

论文报告pass@1准确率；对于题量较小的AIME24和AMC23，采用avg@16降低评测波动，该口径不等同于pass@16。

表1：FP8量化采样设置下，五项数学推理基准的平均准确率。数据来自论文表1，提升幅度按表中结果相减计算。

具体来看，Qwen3-4B上的MIPU在MATH-500、OlympiadBench、Minerva和AMC23四项基准取得表中最高成绩，其中AMC23达到85.00%，Minerva达到45.96%；Qwen3-1.7B在MATH-500和OlympiadBench上分别达到86.52%和59.52%。

平均成绩之外，持续训练的稳定性同样关键。部分基线在中途达到较高分数后出现明显退化，而MIPU在论文报告的训练范围内保持了稳定轨迹。其优势体现为更高的平均成绩与更稳定的持续训练表现，并不意味着在每个单项基准上都领先。

图2：Qwen3-4B在FP8量化采样下的训练曲线。部分基线在继续训练后明显退化，MIPU保持相对稳定的得分轨迹。（论文图2）

研究进一步在Qwen3-4B上分别保留两步中的一步，观察各组件的贡献。

表2：Qwen3-4B在FP8量化采样下的消融实验。数据来自论文表2。

仅使用Step 1可以改善学习，但同步后仍会接受全部候选更新，无法主动筛掉新的不可靠候选。仅使用Step 2能够通过拒绝更新缓解崩溃，却无法提升候选本身的质量；当有用的候选较少时，系统容易停留在旧策略上。

完整MIPU的平均成绩达到66.71%，较仅使用Step 1进一步提高1.35个百分点。这说明两步发挥着互补作用：既要提出更好的更新，也要判断哪些更新值得保留。

稳定性是否只是因为MIPU减少了更新次数？研究专门设置了随机回滚对照。

在论文图4b展示的比较窗口中，随机回滚拒绝了67.0%的候选更新，高于仅使用Step 2时的53.5%，但仍在达到短暂峰值后发生崩溃。相比之下，基于推理差距信号的验收维持了更稳定的轨迹。

这一结果支持了Step 2的设计动机：减少更新数量本身不足以解释稳定性收益，接受与拒绝需要有针对性的推理端信号。容忍阈值实验也显示，过于严格的验收会导致频繁回滚，限制后续学习。

这项工作从训练—推理不一致出发，提出单调推理策略改进原则（MIPI），将实际用于采样与部署的推理策略确立为改进目标。作为一种具体实现，MIPU 通过候选更新与推理端验收两步，在论文的 FP8 量化采样实验中取得了更高的平均推理成绩和更稳定的训练表现。

MIPI 为后续方法设计提供了更广泛的空间。 未来可以探索更高效的推理差距估计、更可靠的更新验收准则，以及直接利用推理差距的优化方案，进一步降低验证与回滚成本，使这一原则得到更有效的落实。

目前的实验集中于 1.7B 与 4B 模型及数学推理任务，更大规模模型、更多任务和不同训练系统中的效果仍有待验证。

这项研究也反映出大模型强化学习领域的一个重要探索方向：如何让训练阶段的优化更有效地转化为模型在实际推理任务中的表现。对于 MemoraX AI 等持续关注 AI 学习机制与智能体系统的团队而言，训练优化、记忆能力与经验复用之间的联系，也为进一步探索 AI 的持续学习能力提供了值得关注的研究视角。

从 MIPI 提出的原则到 MIPU 的具体实践，这项研究为大模型强化学习的优化目标如何更直接地对齐实际推理表现，提供了新的思路。其在更大规模模型和更多应用场景中的适用性，仍有待后续研究进一步验证。

ICML 2026 | 视觉任务涨点神器！ParaX：少量参数量反超全微调，代码已开源！