大数跨境

连中NeurIPS、ICLR!强化学习+Transformer重磅成果一览,思路必学!

连中NeurIPS、ICLR!强化学习+Transformer重磅成果一览,思路必学! 学姐带你玩AI
2026-11-01
12

本文梳理了近期发表的31篇关于强化学习与Transformer结合的顶会论文(涵盖NeurIPS、ICLR等),旨在帮助读者快速洞察学界发展脉络。以下精选部分代表性研究成果进行解析。

ICLR 2026:分阶段策略提升Transformer在线强化学习稳定性

【ICLR 2026】Peak-Return Greedy Slicing: Subtrajectory Selection for Transformer-Based Offline RL

研究方法:针对无模型在线强化学习中Transformer训练不稳定的问题,提出分阶段训练方法。首先由更简单稳定的加速器模型独立与环境交互,并通过行为克隆为Transformer完成预训练;随后让预训练后的Transformer在全在线强化学习设置中与环境交互,从而实现性能加速与训练稳定化。

创新点:

  • 提出分阶段训练策略,先以简单模型行为克隆预训练Transformer,再进行在线强化学习训练,有效解决其训练不稳定问题。
  • 设计专用简单加速器模型独立与环境交互生成数据,为Transformer提供高质量预训练数据,降低训练难度。
  • 让预训练后的Transformer参与在线强化学习,兼顾其表征优势,实现模型性能加速与训练稳定化提升。

研究价值:该研究通过分阶段预训练策略解决了Transformer在无模型在线强化学习中的训练不稳定问题,有效发挥了Transformer的表征优势,提升了在线强化学习的训练稳定性与性能,为其落地应用提供了可行方案。

NeurIPS 2025:Memo架构突破具身智能体记忆限制

【NeurIPS 2025】Memo: Training Memory-Efficient Embodied Agents with Reinforcement Learning

研究方法:面向记忆密集型长视野的具身智能体决策任务,提出基于Transformer的Memo架构及配套强化学习训练方法。通过在模型训练过程中为输入穿插周期性摘要令牌,实现记忆的自主创建与高效检索,打造记忆高效的具身智能体,解决传统Transformer处理视觉输入时的上下文限制问题。

创新点:

  • 提出Transformer基Memo架构和RL训练方案,适配记忆密集型长视野具身智能体任务,突破传统Transformer的上下文限制。
  • 设计训练中穿插周期性摘要令牌的机制,实现模型记忆的自主创建与检索,抽象压缩环境信息。
  • 模型兼具计算和存储效率,推理时对更长上下文泛化性更好,流式场景中截断历史上下文仍保持鲁棒性。

研究价值:Memo架构及强化学习训练方法解决了传统Transformer在具身智能体长时序任务中的上下文限制问题,实现了高效的记忆创建与检索,打造出计算和存储更高效的具身智能体,同时提升了模型在长上下文推理和流式场景中的泛化性与鲁棒性。

-END-

【声明】内容源于网络
0
0
学姐带你玩AI
1234
内容 875
粉丝 0
学姐带你玩AI 1234
总阅读51.7k
粉丝0
内容875