本文作者｜马国政
本文编辑｜李悦康瑞
ICML 2026 Spotlight
论文题目：What Makes Value Learning Efficient in Residual Reinforcement Learning?
论文机构：NTU, Mila, NUS
作者：Guozheng Ma, Lu Li, Haoyu Wang, Zixuan Liu, Pierre-Luc Bacon, Dacheng Tao
发表会议：ICML 2026（Spotlight）
代码仓库：https://github.com/Guozheng-Ma/DAWN
arXiv:https://arxiv.org/abs/2602.10539
残差强化学习（Residual RL）是当下微调 Diffusion Policy、VLA 等生成式策略的主流路线，但即便是 SOTA 方法，往往也需要上百万次在线交互才能收敛。业界普遍将精力集中在“如何设计更好的残差策略”上。
这项来自南洋理工大学（NTU）、魁北克人工智能研究所（Mila）与新加坡国立大学（NUS）的 ICML 2026 Spotlight 工作指出，残差 RL 效率低下的真正瓶颈在于被忽视的“价值学习”，而非“策略设计”。作者系统性地拆解了该瓶颈的两大病根：冷启动病理（Cold Start Pathology）与结构性尺度失配（Structural Scale Mismatch），并提出了极简解决方案 DAWN（Data-Anchored Warmup and Normalization）。该方法无需改动底层 RL 算法，仅在 ManiSkill 与 Adroit 两大机器人操作基准上，便将收敛速度提升了约5 倍。
图 1｜DAWN 让残差强化学习在 ManiSkill 与 Adroit 任务上高效地在线微调 Diffusion Policy，收敛速度约为此前方法的 5 倍。
背景与动机：都在卷策略，瓶颈却在别处
在线强化微调是具身策略落地的“最后一公里”。从 Diffusion Policy 到视觉 - 语言 - 动作模型（VLA），预训练的生成式策略虽已重塑机器人学习底座，但纯模仿学习难以应对分布偏移与误差累积。唯有通过在线强化学习（Online RL）进行真正的交互试错，才能让策略学会从错误中恢复，尤其是在接触密集的精密操作中。
Residual RL 是走通这一公里的高效路线。鉴于直接微调生成式策略存在梯度计算难、易灾难性遗忘等问题，Residual RL 选择冻结预训练的 base policy，仅训练一个轻量级的残差策略进行小幅修正（a = a_base + λ · a_res）。该框架通用性强，此前的改进多集中在策略侧（如渐进式探索、隐空间引导等），试图为“训练不稳”打补丁，却未触及根本成因。
真正的瓶颈在于价值学习。在 actor-critic 框架中，策略改进完全依赖 Critic 提供的梯度。若价值学习本身低效，再精巧的策略工程也无济于事。本文围绕 Residual RL 价值学习的独特挑战、病根及根治后的效率提升展开研究。
被忽略的价值学习瓶颈
研究发现 Residual RL 的价值学习存在两个独有病理，并验证了相应的解决路径。
2.1 冷启动病理：Critic 一开始就“两眼一抹黑”
在 Residual RL 中，完整策略初始即工作在高效的 base policy 附近，而 Critic 却是随机初始化的，对周围“价值地形”一无所知。若无法迅速锚定，错误的价值估计将误导残差策略。
核心发现：预热数据是必不可少的“价值锚点”。实验表明，训练前仅用 base policy 采集少量状态转移（无需奖励标注）存入经验回放池，即可显著提升成功率。数据的作用并非覆盖更大状态空间，而是将 Critic 钉在 base policy 经过的真实价值地形上。反之，若无预热数据，Q 值锚定误差会迅速发散。
图 2｜成功率随预热数据量单调上升：预热数据是 Residual RL 的价值锚点。
反直觉结论：显式预训练不仅多余，反而有害。尝试在冻结策略下对 Critic 进行显式预训练（如调节熵温度、Hard-Q 等），效果均不如仅靠数据的隐式预热。机制在于：冻结策略导致熵项主导 TD 目标，给 Critic 注入巨大负偏置；或造成软硬价值目标错配。因此，用数据锚定，而非阶段预训练是正解。
图 4｜所有显式预热变体都无法超越仅靠数据锚定的隐式预热。
2.2 结构性尺度失配：残差信号被 base action 淹没
由于残差修正系数 λ 很小，冻结的 base action 在量级上占绝对主导，导致 Critic 难以分辨微小残差带来的价值差异，信用分配失灵。
核心发现：归一化恢复了 Critic 的敏感度。给 Critic 网络加入层归一化（LayerNorm）或超球面归一化，可使学习效率显著提升。机制上，归一化解耦了内部表示与输入量级，使 Critic 对残差动作的敏感度（梯度范数）翻倍，并能准确捕捉残差带来的价值贡献。
图 6｜学习效率只有在给 Critic 加归一化后才成立；LN 与 HN 表现相当。
反直觉结论：分布式 Critic 并无增益。实验显示，标准的 MSE 目标在样本效率上持平甚至优于 C51、QR 等分布式目标。这是因为在归一化帮助下，残差对价值的影响表现为清晰的均值偏移，而非分布形状的复杂变化。MSE 天然适配此特性，而建模整条分布则显得多余且困难。
图 9｜早期样本效率上，MSE 持平或优于全部三种分布式目标。
极简破局：DAWN，两招提速约 5 倍
基于上述诊断，作者提出 DAWN（Data-Anchored Warmup and Normalization） 方法：
数据锚定预热：训练前用 base policy 收集约 20K 条状态转移存进 buffer，解决冷启动病理。
Critic 归一化：给 Critic 网络增加 Layer Normalization，解决结构性尺度失配。
该方法不改动底层 RL 算法，无需复杂调参。实验显示，DAWN 在 ManiSkill 与 Adroit 的 8 个任务上全面超越基线，且在最具挑战的任务上达到 90% 成功率的速度约为 Policy Decorator 的 6 倍。此外，DAWN 显著降低了训练方差，提升了稳定性。
图 11｜以 Diffusion Policy 为 base policy 的主结果：DAWN 在多个任务上全面超越所有基线。
稳健性验证表明，归一化仅对 Critic 有效，且该方法在不同 RL 框架（如 DDPG）及不同算力配置下均保持必要性和有效性，证明其确实击中了残差公式本身的底层病理。
图 12｜DAWN 的组件消融：两个组件缺一不可，且针对不同瓶颈、收益并不重叠。
总结与展望
DAWN 通过两个朴素干预，实现了对 Residual RL 价值学习动力学的机制性突破。它揭示了残差对 Q 值的影响本质是清晰的均值偏移，从而解释了为何标准 Critic 难以分配信用以及为何分布式建模是不必要的。
这项工作示范了一种重要的研究取向：与其堆叠复杂机制掩盖症状，不如追溯问题根源。目前评测主要在仿真环境中进行，未来将在真机部署、大型 VLA 模型迁移及长时程任务上进一步验证。总而言之，找准病根，两招足矣。
作者简介
本文第一作者马国政，现为新加坡南洋理工大学博士生，导师是陶大程教授，研究方向聚焦在深度强化学习。
个人主页：https://guozheng-ma.github.io/