2022年,一篇未提出复杂新算法的论文MAPPO,意外成为多智能体强化学习领域最具影响力的工作之一。该研究证明,通过优化已有算法PPO的训练细节,即可在多智能体协作中取得卓越效果。尽管初期因方法“过于简单”屡遭拒稿,但如今其引用量已近5000次,成为行业基准。
论文主要作者于超,现任清华大学深圳国际研究生院助理教授、正行创新(Striding AI)联合发起人。从MAPPO到百台真实机器人实验,再到对Agentic Robotics的探索,于超的研究路径展现了具身智能从数字空间向物理世界演进的过程。近日,她与团队提出的群体经验学习(CEL)方法及对“具身智能Token时代”的判断,引发了业界广泛关注。
重新定义科研价值:从MAPDO到长期主义
于超的科研生涯跨越自动化、机械、电子工程等多个领域。博士期间,她选择在决策层面对多智能体强化学习进行深入探索。MAPPO的成功并非源于理论突破,而是对工程细节的极致打磨。
“大道至简”的科研启示
MAPPO投稿初期的挫折,让于超深刻反思科研的本质。在导师吴翼和汪玉的支持下,她坚持认为研究的终极价值在于解决实际问题,而非仅仅追求论文发表。这一理念也延续至后续开源基础设施RLinf的开发中。尽管维护开源项目耗费大量精力且短期内难以转化为论文成果,但于超认为,为社区提供可靠的基础设施具有长远意义。
百台机器人协同:群体经验学习的突破
传统强化学习依赖仿真环境的大规模并行,而真实世界的规模化训练面临巨大挑战。于超团队通过将实验规模扩大至上百台真实机器人,发现了人类指导效率的瓶颈,并提出了群体经验学习(Collective Experience Learning,CEL)方法。
突破人类指导瓶颈
在大规模真机实验中,依赖人工遥操纠正错误的方式难以扩展。高质量操作员稀缺成为限制学习效率的关键因素。CEL方法旨在让机器人从群体的成功经验中学习,减少对人类持续指导的依赖。当一台机器人遇到困境时,可检索其他机器人在相似场景下的成功操作经验。
规模效应与迁移能力
实验数据显示,群体学习存在明显的规模阈值。当参与训练的机器人数量较少(如4台)时,由于经验多样性不足,效果甚至不如传统方法;但当规模扩大至16台以上,算法优势显现。在手机打包任务中,随着训练机器人从16台增加至96台,任务成功率从86.7%提升至98.3%。
更重要的是,测试使用的是未参与训练的独立机器人,验证了该方法具备跨本体的迁移能力。这一结果表明,机器人数量本身可能成为具身智能Scaling Law的新维度,真实环境中积累的经验可通过共享机制提升整体智能水平。
具身智能进入“Token时代”:大模型与机器人的融合
随着通用大模型能力的提升,具身智能的学习范式正在发生转变。于超团队提出的Harness VLA框架,尝试让Coding Agent承担高层任务规划,结合VLA模型处理底层控制,并通过外部记忆积累经验。
从参数内化到记忆外化
传统强化学习通过改变模型参数来“内化”经验,而基于大模型的Agentic Robotics则倾向于将经验“外化”存储于外部记忆中。借助大模型的长上下文处理能力,机器人可以通过检索历史经验来应对复杂任务,这种模式更具灵活性和可扩展性。
GPT-6 Astra的印证与挑战
GPT-6 Astra的发布印证了于超关于“具身智能进入Token时代”的判断。通用大模型在任务规划展现出强大能力,缩小了专用模型与通用模型之间的差距。然而,仿真与现实之间的差距(Sim-to-Real Gap)依然是核心难题。摩擦力、温度变化等物理细节难以在仿真中完美复现,导致许多在仿真中表现优异的算法在真机上失效。
于超指出,强化学习并未过时,其核心思想——通过交互和反馈不断优化行为——在物理世界中依然至关重要。未来的方向可能是将大模型的规划能力与强化学习的底层控制相结合,形成互补的系统架构。
从实验室到产业界:构建标准化评测与落地场景
为了推动研究成果落地,于超联合发起了正行创新。她强调,高校侧重于前沿探索,而产业界能提供真实的场景、数据和硬件支持,两者相辅相成。
建立真实的评测标准
目前具身智能领域的评测标准尚不完善。于超指出,真实环境中的光照、温度、机械磨损等因素均会影响机器人性能,简单的Benchmark难以反映真实水平。未来需要建立更严格、标准化的真机测试流程,并鼓励开放接口以便第三方验证。
展望:安全与信任是最终门槛
对于具身智能的未来,于超最期待的突破是机器人能够安全、可靠地照顾儿童。这不仅要求极高的动作控制精度,更需要对环境突发情况的即时响应能力和情感理解能力。虽然距离这一目标仍有较长路径,但随着大模型与物理智能的深度融合,具身智能的“GPT时刻”或许比预想中来得更快。
注:封面/首图由 AI 辅助生成

