本文梳理了近期发表的31篇关于强化学习与Transformer结合的顶会论文(涵盖NeurIPS、ICLR等),旨在帮助读者快速洞察学界发展脉络。以下精选部分代表性研究成果进行解析。
ICLR 2026:分阶段策略提升Transformer在线强化学习稳定性
【ICLR 2026】Peak-Return Greedy Slicing: Subtrajectory Selection for Transformer-Based Offline RL
研究方法:针对无模型在线强化学习中Transformer训练不稳定的问题,提出分阶段训练方法。首先由更简单稳定的加速器模型独立与环境交互,并通过行为克隆为Transformer完成预训练;随后让预训练后的Transformer在全在线强化学习设置中与环境交互,从而实现性能加速与训练稳定化。
创新点:
-
提出分阶段训练策略,先以简单模型行为克隆预训练Transformer,再进行在线强化学习训练,有效解决其训练不稳定问题。 -
设计专用简单加速器模型独立与环境交互生成数据,为Transformer提供高质量预训练数据,降低训练难度。 -
让预训练后的Transformer参与在线强化学习,兼顾其表征优势,实现模型性能加速与训练稳定化提升。
研究价值:该研究通过分阶段预训练策略解决了Transformer在无模型在线强化学习中的训练不稳定问题,有效发挥了Transformer的表征优势,提升了在线强化学习的训练稳定性与性能,为其落地应用提供了可行方案。
NeurIPS 2025:Memo架构突破具身智能体记忆限制
【NeurIPS 2025】Memo: Training Memory-Efficient Embodied Agents with Reinforcement Learning
研究方法:面向记忆密集型长视野的具身智能体决策任务,提出基于Transformer的Memo架构及配套强化学习训练方法。通过在模型训练过程中为输入穿插周期性摘要令牌,实现记忆的自主创建与高效检索,打造记忆高效的具身智能体,解决传统Transformer处理视觉输入时的上下文限制问题。
创新点:
-
提出Transformer基Memo架构和RL训练方案,适配记忆密集型长视野具身智能体任务,突破传统Transformer的上下文限制。 -
设计训练中穿插周期性摘要令牌的机制,实现模型记忆的自主创建与检索,抽象压缩环境信息。 -
模型兼具计算和存储效率,推理时对更长上下文泛化性更好,流式场景中截断历史上下文仍保持鲁棒性。
研究价值:Memo架构及强化学习训练方法解决了传统Transformer在具身智能体长时序任务中的上下文限制问题,实现了高效的记忆创建与检索,打造出计算和存储更高效的具身智能体,同时提升了模型在长上下文推理和流式场景中的泛化性与鲁棒性。
-END-

