开始之前，先思考一个问题：
一道题，学生模型采样八次都做错，专家模型能做对。你会怎么让模型学会？
继续跑 RL，还是拿专家解答做 SFT？
如果只有对错奖励，这八条全错的回答在 GRPO 中优势都是零，本轮没有奖励梯度。多采几次也许能碰到正确答案，但成功率很低时，这条路会很费。
那就先学专家答案。可答案喂进去了，学生就一定学会了吗？它会不会只学到了这道题的写法，换一道类似的题还是不会？新能力学进去之后，原来会的东西又能保住多少？
这也是我想聊 RL 前蒸馏的原因。我们手里有专家知识，但怎么把它变成学生能吸收的监督，尤其是那些学生自己做不出来的样本，并没有一个现成答案。
不过最近阅读了不少相关的论文，《Finetuning with Sampling》里，同一个 Qwen2.5-3B，直接 SFT 后的 MATH500 从 24.5% 降到 16.8%；先加工专家数据再 SFT，却达到 58.2%。而《RL Starts before RL》里，SFT 初始化的即时分数略高于 OPD，继续 RL 后却低了 11.70 个百分点。
这两组结果让我想追问的不是哪个算法赢了，而是：RL 之前的蒸馏，到底应该教进去什么，怎么教，以及怎样确认学生真的学会了？
一、蒸馏的目标：行为模仿与能力迁移
用强教师生成数据，再训练学生，是最直接的蒸馏路线。但教师输出中包含的任务知识、推理策略与表达习惯，在训练目标里通常没有被显式区分。
这里值得追问的是：哪些监督真正支持能力迁移，哪些只是让学生更接近教师的输出形式？
二者并不互斥。格式、步骤组织和检查习惯也可能帮助完成任务，但不能仅凭文本相似或训练 loss 下降，就确认学生获得了可泛化的解题能力。
因此，讨论蒸馏方案之前，需要先区分它传递的监督对象：
|
|
|
|
|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
教师生成答案再 SFT，让学生沿着教师文本的前缀学习；OPD 则让学生先自己生成，再由教师在学生实际访问的前缀上提供监督。
使用 teacher forcing，不等于使用 On-policy Distillation。两种路线都可能涉及 teacher-forced 前向计算，区别在于训练轨迹和监督上下文来自哪里。
这也决定了工程条件：
-
文本蒸馏通常只需要获得教师答案。 -
分布蒸馏需要与目标匹配的 logits 或 log-probs 接口。 -
教师与学生的 tokenizer、词表不同时，不能默认概率可以逐项直接对齐。 -
自蒸馏不需要外部强教师，但需要有效参考信息以及自身教师的评分能力。
所以，选教师不能只看榜单分数。教师本身的能力，与它对当前学生的教学效果，是两个不同指标。数据覆盖、表达方式、轨迹长度和错误前缀上的监督质量，都可能影响实际迁移。
二、SFT 的瓶颈：优化目标，还是监督数据的可学习性？
SFT 后效果不理想，可能与模型容量、优化配置和数据覆盖有关，也可能是教师轨迹与学生分布差异过大。没有数据侧的对照，很难把问题直接归因于 SFT 本身。
监督正确性与监督可学习性，是需要分别评估的两个维度。
《Finetuning with Sampling》值得关注的地方，是它保持标准 SFT 目标不变，先调整专家数据的表达与分布：在保留专家信息的前提下，构造更适合当前学生学习的轨迹。
这给蒸馏增加了一个独立的设计变量：知识仍由专家提供，但训练文本不必直接采用教师原始输出。
1. 学生参考专家，生成适合自己学习的版本
其流程可以概括为：
-
给学生提供问题、专家解答和当前回答的部分前缀。 -
让学生参考专家信息，续写候选回答。 -
反复局部重采样，比较当前版本与候选版本在原学生模型下的似然。 -
用加工后的文本做标准 SFT。
必须分清两个上下文：
-
生成候选时，学生可以看专家解答。 -
评分候选时，目标是该回答在原问题条件下的学生似然，而不是带着专家参考的生成概率。
最终 SFT 学习的是“原问题 → 加工后的回答”，不是要求部署时也提供专家答案。
这不是让学生独立发现解法，而是借助专家信息，为学生生产更好学的目标文本。论文理论使用投影采样与 MCMC，实际实验简化为接受更高似然的候选；不能把完整 MCMC 的保证直接套到简化实现上。
2. 数据适配的收益，不能只看一个分数
Qwen2.5-3B 的数学实验如下，均为准确率：
|
|
|
|
|
|
|---|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| Sampling＋SFT | 49.5% | 27.7% | 58.2% | 78.2% |
Sampling＋SFT 相比直接 SFT，MATH500 高 41.4 个百分点；相比 GRPO 高 26.9 个百分点。但 AMC 低于 UFT，GSM8K 低于 GRPO，并不是全面胜出。
这支持“数据适配值得独立测试”，不证明等总算力下 SFT 普遍优于 RL：采样加工有额外推理成本，各方法的训练配方也不同。
3. 不一定要从昂贵的多轮采样开始
一次完整改写，是更便宜的对照。
下面是 Qwen2.5-7B-Instruct 的化学与医疗实验。旧能力均分由 MMLU、GPQA、AMC、MATH500、GSM8K 五项构成：
|
|
|
|
|
|
|---|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| Sampling＋SFT | 66.0% | 58.6% | 45.8% | 51.6% |
这张表让我对“该不该上多轮采样”有了更具体的判断。
化学上，多轮采样比一次改写高 4.7 个百分点，旧能力也保留得更好，我会愿意为它安排一次复验。医疗上却只高 0.1 个百分点，一次改写已经拿到了很大一部分抗遗忘收益。面对后一种结果，不要因为方法更复杂，就默认它更值得部署。
先跑通一个便宜、可检查的版本，再决定是否值得追加采样算力。这不是保守，而是想知道钱到底花在哪一步有用。
而且，数据适配具有学生依赖性：把为 Olmo 加工的数据用于 Qwen，化学准确率为 57.33%，低于 Qwen 直接 SFT 的 61.8%。不能默认“更好”的改写数据适合所有学生。
来源：Finetuning with Sampling，表 1、附录 B。
4. 家族风格适配，是另一条路线，但证据更初步
TraceForge 保留教师最终答案，利用专门训练的生成器补上符合学生模型家族风格的推理轨迹，再通过判别器筛选候选。
它不等于 Sampling：前者追求家族风格，后者显式利用具体学生的分布。
固定问题和 Fable 5 最终答案，仅替换轨迹，Qwen3.5-9B-Base 的最终检查点成绩如下。每组使用 5,000 个 assistant-turn 样本：
|
|
|
|
|---|---|---|
|
|
|
|
|
|
|
|
| 绝对提升 | +3.66 个百分点 | +7.14 个百分点 |
这支持“同一个答案，配套轨迹也会影响学习”。但每组仅一次训练运行，token 总量未披露，也缺少答案-only、简单提示补推理等基线，不能把收益单独归因于风格。
来源：TraceForge，表 1。
我的理解是：专家提供什么信息，与学生用什么文本吸收这些信息，应该分开设计。
三、知识注入与抗遗忘：蒸馏的双重约束
对蒸馏，我觉得最值得关注的其实是遗忘。
假设我们只是想给模型补一个垂类能力，结果它在这个领域更好了，其他重要能力却明显变差。这时我很难把它简单记作一次成功的训练：新能力当然有价值，但原有能力不是可以不计成本地交换出去的。
我想做的是增量，不是把模型改造成另一个偏科专家。
所以，抗遗忘不应该等目标任务涨分之后再检查。它从一开始就应该参与数据选择、训练预算和检查点选择。
上面的化学实验提供了一个直观对照：直接 SFT 的旧能力均分从 59.7% 降到 52.0%，损失 7.7 个百分点；Sampling＋SFT 后为 58.6%，损失 1.1 个百分点，同时化学准确率更高。
但不能据此断言“只要数据更接近学生，就不会遗忘”。医疗实验中，Sampling＋SFT 的旧能力均分仍从 59.7% 降到 51.6%。它缓解了下降，没有消除下降。
1. 保住旧能力，与保持原分布，不是完全相同的目标
让监督更贴近学生分布，可能减少不必要的行为变化；但蒸馏必须改变某些行为，否则新的知识就无法进入。
真正希望控制的是：吸收任务相关的新信息，尽量少改变无关能力。
原有能力分数下降，也不能全部归因为知识被抹掉。回答格式、长度、重复行为或解码分布变化，都可能影响成绩。因此，既要测旧任务，也要检查行为变化。
2. 专家轨迹也能提供学习状态，而不只是目标文本
PivotRL 提供一个补充视角：复用专家轨迹中的中间状态，在这些位置采样学生的下一步动作，再用功能性奖励做局部 GRPO。
它优先筛选有成功也有失败的决策点，不要求学生动作与专家文本逐字相同。
在 Qwen3-30B-A3B-Thinking-2507 上，使用相同问题与专家轨迹，分别训练四个 Agent 领域：
|
|
|
|
|
|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
更相关的证据是旧能力保留：八个 OOD 基准的变化，在四个训练运行间取平均，SFT 为 −9.83 个百分点，PivotRL 为 +0.21 个百分点。这里按论文表 2 报告，原文引言中的 −9.48 与表格不一致。
PivotRL 不是蒸馏方法，也不能作为 OPD 的直接对照。它提示的是：专家轨迹除了让学生模仿，还能提供有价值的练习上下文。
其边界同样明确：局部动作合适，不保证完整任务成功；部分局部验证器很粗，例如 SWE 实验仅检查工具名称；离线筛选也不能保证后续每一组采样都有非零优势。
来源：PivotRL，表 1、2 与附录 A.2。
四、困难样本的蒸馏：从自我探索到专家信息注入
如果学生已经能采出正确解法，强化这些回答当然有价值。但我更在意另一类数据：专家会，学生在有限预算内怎么采都不对。
这些样本最能体现我为什么需要专家。不是为了让已经会的答案更像教师，而是为了把学生当前拿不到的信息教进去。
我不希望一套看起来很先进的蒸馏方案，最后只对“学生本来就能做对”的样本有效。
当然，也不能把所有低成功率数据都叫作“突破上限”。但如果一套方案连全错样本的监督从哪里来都说不清楚，我会先把这个问题问明白，再看它的平均分。
1. 八条全错，是信息缺失的检查点
假设每题采样八条，正确奖励为 1、错误为 0，组相对优势为：
|
|
|
|
|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
这里讨论奖励项，不包含正则项或辅助目标。有限次采样全错，也不证明模型永远做不出来。
但就本轮而言，继续把相同零奖励换一种路由，并不会凭空得到正确解法。
2. 自蒸馏的优势，可以来自参考信息
SDPO 让自身教师额外看到成功解答或环境反馈，然后在学生原轨迹的前缀上重新计算分布：
教师通常使用 EMA 等稳定措施。它不需要另生成一条修正答案，核心是把有反馈的预测分布蒸馏给没有反馈的学生。
因此，关键不是教师是否外部模型，而是参考信息 从哪里来：
-
只来自组内成功回答：全错时没有参考。 -
来自标准答案或专家解答：全错时仍有信息可用。 -
来自失败测试或运行报错：即使尚未采到成功答案，也可能获得改进线索。
这不代表任何反馈都有效，也不代表看了答案的自身教师一定可靠。
来源：Reinforcement Learning via Self-Distillation，方法与反馈构造。
3. “突破上限”应该怎样验证？
更准确的目标是：突破当前模型在给定探索预算下难以达到的能力边界。
不能因为训练集八次全错、蒸馏后答对，就宣称获得了全新的能力。至少需要：
-
在未参与数据加工和调参的问题上评估。 -
推理时不提供专家参考。 -
同时观察单次准确率和多次采样覆盖。 -
在原模型低成功率的样本层级上，检查改善是否稳定。
Sampling 论文报告了较大采样次数下仍存在的 Pass@k 差距，以及原模型有限采样未解出、训练后能解出的题目。这比只看 Pass@1 更有信息量，但仍不是对“原模型绝对不具备该能力”的证明。
五、OPD 的监督可靠性：错误前缀与信号筛选
到这里，很容易得出一个诱人的方案：学生不会的，就让教师提供密集监督。
这个方向有兴趣，但也有一个很具体的担心：学生已经把前面的推理写错了，教师接着这个前缀，真的还能教好吗？
如果上下文已经陷入循环、引入错误前提，或前后矛盾，一个强教师也可能被拖进去。OPD 给出的 token 信号更密集，但如果方向错了，密集未必是好事。
SCOPE 的一个诊断实验，恰好把这个担心量化了。
SCOPE 按教师对完整错误轨迹的 PPL 分组，再截取前缀让教师续写，报告：
|
|
|
|
|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
低 PPL 组更容易纠错，但保留 80% 前缀时，该组也只有 35.8% 成功率。PPL 有代理价值，不是纠错保证。
来源：SCOPE，附录 C.1 表 7。
1. SCOPE 与 SRPO：提供监督设计的借鉴，不是统一的蒸馏前置配方
两篇研究都尝试区分成功与失败样本，但做法不同：
|
|
|
|
|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
SCOPE 概念上接近加权自训练＋加权 OPD，但自强化采用概率比代理目标，不完全等同于普通 SFT。
其六个数学基准均分如下。Avg@32 衡量平均正确率，Pass@32 衡量至少采到一次正确答案的覆盖：
|
|
|
|
|
|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
教师分别为 SkyWork-OR1-7B、Qwen3-8B-Instruct。相比 OPD，两组 Avg@32 分别高 2.9、1.9 个百分点，并不是巨大跃升。
权重消融中，移除全部自适应权重，1.5B 的 AIME25 Pass@32 从 50.9% 降到 45.7%。但主对照 OPD 每题采样 1 条、SCOPE 为 8 条，单步耗时分别为 227.5、641.9 秒，不能把全部收益归因于权重或直接断言更划算。
SRPO 则在相同硬件的时间预算下比较，均每题采样 8 条。五个任务的预算内最高 Avg@16 均分为：
|
|
|
|
|
|
|---|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
8B 的 10 小时消融中，优势混合为 72.3%，只分流不加熵权重为 75.6%，完整方法为 77.4%。这支持分流和权重有用，但学习率与 mini-batch 设置不同，成绩是预算内峰值，不是多种子稳定结果。
读到这里，我不会因为 SRPO 全错组没有信号，就否定它的混合组收益；也不会因为 SCOPE 能给全错组提供监督，就认定这些监督一定有用。
这里真正值得借鉴的是：已经做对的回答，未必需要再被教师拉向另一条解法；做错的回答，也不能不看信号质量就一律蒸馏。
两篇都不是“蒸馏后接同一套 RL”的完整对照。对我来说，它们更像监督设计上的参考，而不是可以直接搬进 RL 前准备阶段的标准配方。
来源：SCOPE，表 1、图 5、表 8；SRPO，表 1、2、附录 B。
2. 概率指标不能兼任正确性验证
|
|
|
|
|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
学生参考专家改写，可能把步骤写错；已知答案再补推理，可能只是事后合理化；最终答对，也可能过程错误。
Sampling 附录报告加工后数据正确率约为 94%–96%，本身就说明信息保持并非百分之百。部署级方案应该把可学习性筛选与结果、过程质量检查分开。
一个值得实验的组合是：正确样本选择性自强化，失败样本使用“自身教师＋专家参考”，再做可靠性加权。但它只是组合假设：不能默认原 SCOPE 的 PPL 加权，在新的教师上下文下仍有效。
六、蒸馏初始化的价值，要看后续 RL
一个蒸馏检查点涨分了，当然值得高兴。但如果做这一步的目的，是让后面的 RL 更好学，那么蒸馏结束时的评测只能算中场成绩。
《RL Starts before RL》最有趣的发现，就是它把初始化真的往后训了。它让一个原本容易被忽略的问题变得具体：眼下最好的模型，会不会不是最好的起点？
1. 即时分数高，不一定更适合 RL
《RL Starts before RL》使用 Qwen3-8B 学生和 Qwen3-32B 教师，报告八个文本基准均分：
|
|
|
|
|
|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
OPD 初始化只比原模型高 0.54 个百分点，RL 后却高 7.28 个百分点；SFT 即时比 OPD 高 0.73 个百分点，RL 后却低 11.70 个百分点。
AIME24 的 RL 后成绩，直接 RL、SFT→RL、OPD→RL 分别为 47.40%、39.27%、57.71%；OlympiadBench 分别为 52.97%、49.26%、65.88%。
原模型和 OPD 的初始 Pass@64 诊断值分别为 80.37%、79.98%，也不能充分解释差异。但诊断与主评测配置不同，不能混算。
这支持评价完整链路，不证明 SFT 初始化普遍有害；准备阶段的成本也没有被纳入等总预算比较。
2. 蒸馏目标的排名，接上 RL 后可能反转
在 Qwen3-VL-8B／32B 配置中，二十个基准均分为：
|
|
|
|
|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
学生轨迹上，FKL 即时低 0.49 个百分点，RL 后高 1.85 个百分点；教师轨迹上则是 RKL 更好。不能据此直接选择 FKL，也没有跨训练种子方差来证明优势稳定。
来源：RL Starts before RL，主结果及 KL／轨迹来源消融。
3. 适配后的 SFT，同样可以成为 RL 起点
Sampling 论文直接测试了这条路线，学生为 Qwen2.5-3B：
|
|
|
|
|
|
|---|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
继续 RL 提升三个测试集，AMC 却下降。这条路线也多了加工数据和 SFT 的成本。
来源：Finetuning with Sampling，表 1。
PS：不能用另一篇普通 SFT→RL 的较差结果，否定 Sampling＋SFT→RL；也不能跨论文断言后者优于 OPD→RL。要在同一学生、数据和预算下比较。
七、实验设计：验证吸收、遗忘与后续收益
把这些论文放在一起，很容易拼出一套复杂方案：采样改写、正确性筛选、参考条件化教师、困难样本分流，再加置信度权重。
但真要安排实验，我反而会克制一点。所有组件一起上，即使最后涨分了，我也不知道哪个环节在起作用；如果掉分，更难定位问题。
我想先验证的，不是一套完整配方，而是几个可以被否定的判断。下面是我会安排的顺序，还不是已经跑通的方案。
第一步：给困难样本建立可复查的分层
用固定采样配置划分高成功率、混合成功率、有限预算未采到正确答案的样本。分层只代表当前模型和探索预算，不是永久能力标签。
训练数据、开发集和独立测试集分开。反复用于调提示或筛选规则的样本，不能再作为泛化效果的证据。
第二步：固定专家信息，比较不同传递方式
可以逐步比较：
-
答案-only SFT； -
专家推理文本 SFT； -
一次学生改写＋校验＋SFT； -
多轮采样加工＋SFT； -
接口允许时，外部 OPD 或参考条件化自蒸馏。
尽量固定问题与答案来源，同时记录文本长度、token 总量和筛选成本。样本数相同，不等于训练预算相同。
第三步：同时验证吸收、遗忘与能力边界
|
|
|
|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
均分之外必须看单项退步，不能用新能力的提升掩盖重要旧能力损失。
第四步：给各初始化接上可比较的 RL
做两类对照：
-
相同后续 RL 设置与预算：检查初始化是否提高后续可训练性。 -
相同总预算：将专家数据生成、加工、教师评分、蒸馏和 RL 都计入成本，检查整条路线是否值得。
记录最终检查点与预算内峰值，多种子复验关键结论。在线训练则额外记录全对／全错／混合组、参考信息可用率和实际梯度贡献。
这些是实验建议，不是现有论文已经验证的统一配方。
写在最后：从输出拟合走向能力迁移
读完这些研究，我没有得到一个“SFT 还是 OPD”的标准答案。反而觉得，过去容易放在一起讨论的几件事，应该拆开看。
教师会，不代表学生能学会；学生把文本学像了，不代表掌握了里面的方法；眼下分数高，也不代表后面的 RL 会更顺利。
我现在更愿意花时间思考：专家的信息怎么进入，学生怎么吸收，哪些变化是必要的，哪些旧能力不该被牺牲。困难样本也不能只留下一个零 reward——要知道它缺的是探索、知识、表达适配，还是可靠的纠错上下文。
如果要说一个我比较想尝试的方向，那就是：把专家知识和教师原稿分开，把可学习性和正确性分开，再把蒸馏成绩和后续 RL 的潜力分开。
这意味着先做便宜、能检查的文本适配，确认学生确实学到了新东西；再对仍然困难的部分，引入有参考信息的监督；一路看着旧能力，不把它们的下降轻描淡写地算成代价。
这套想法还有很多没有验证的地方，也不能因为几张表就说它一定成立。但它至少让我在选下一轮实验时，知道自己要回答什么，而不是只是在换一个方法名字。
我希望蒸馏后的模型，不只是更像专家，而是在拿走专家答案之后，真的比原来更会做事；同时，原来会的东西，还在。
如果这个起点还能让后续 RL 学得更好，那才是我真正想要的蒸馏。
参考论文
实验数字对应下列版本；不同论文之间不构成直接横向对照。
-
Finetuning with Sampling: SFT Learns Better Than You Think -
RL Starts before RL: On Policy Distillation for Better Reinforcement Learning -
TraceForge: Distilling with Your Own Thinking -
SCOPE: Signal-Calibrated On-Policy Distillation Enhancement with Dual-Path Adaptive Weighting -
Reinforcement Learning via Self-Distillation -
Unifying Group-Relative and Self-Distillation Policy Optimization via Sample Routing -
PivotRL: High Accuracy Agentic Post-Training at Low Compute Cost