强化学习环境(RL Envs)正成为大模型后训练的关键基础设施。随着模型向工具调用、软件操作及多步骤任务演进,训练重心从单纯的数据学习转向在具体环境中执行动作、观察反馈并调整策略。
能否提供足够真实、结果可判定的任务环境,已成为衡量后训练效果的核心变量。硅谷市场对此反应迅速,Mercor、Surge AI、Handshake等公司围绕评测数据与训练环境迅速崛起,标志着模型供给核心已从算法算力扩展至“做什么任务、在哪里练、如何判定”的环境构建能力。
从数字到物理:大模型进入物理AI的“GPT-3时刻”
9月3日,OpenAI发布定位电脑操作与编程前沿模型的GPT-6 Astra。第三方评测显示,Astra在RoboDojo的42个仿真任务中,未经过机器人专项微调的平均成功率达22.48%,超越榜单上所有经过训练的专用机器人策略。这一表现被投资人称为机器人领域的“GPT-3时刻”,意味着通用大模型直接介入物理世界已从愿景走向现实。

然而,从数字世界迈向物理世界,强化学习面临更复杂的反馈机制。数字环境中文件状态变更易于记录判定,而物理交互涉及物体位置、姿态及接触状态的连续变化,对力度、位置的微小偏差极为敏感。因此,物理AI所需的RL Envs并非数字环境的简单复刻,必须承载具体工作任务,支持机器人在不同初始状态下反复行动,并确保关键物体对策略动作作出符合物理规律的可信响应。
鉴于真机试错成本高且难以规模化,构建高保真的仿真训练环境成为基础大模型进入物理世界的必经之路。
挑战长程任务:RoboFinals RL Envs解决三大难题
在CoRL 2026期间,光轮智能发布RoboFinals RL Environments(以下简称RoboFinals RL Envs),面向机器人模型提供可交互的强化学习仿真环境。其首发展示了时长超8分钟的汽车修理长程仿真任务,将灵巧手操作、工具使用、多阶段流程及柔性物体交互整合于同一场景,重点解决了以下三大技术难点:
1. 灵巧操作:高自由度与复杂接触求解
相比仅具开合自由度的平行夹爪,灵巧手拥有十几个乃至二十多个自由度。这导致动作空间维度大幅上升,且手指与物体间存在多个同时变化的接触点。若仿真中接触力学计算不准,极易出现物体滑脱或穿透现象,导致策略在真实世界失效。
2. 长程任务:误差累积与状态连续性
传统RL环境多针对抓取、放置等独立短任务。而在真实工作场景中,长程任务由多段动作组合而成,早期动作的微小偏差会随时间累积。RoboFinals RL Envs摒弃了将长任务拆解为独立片段的做法,确保前一步造成的物体位置、姿态和接触状态变化能延续至后续步骤,迫使策略学会在不完美的中间状态下继续完成任务。
3. 可变形物体交互:参数确定性与数值稳定性
软管、线缆、密封垫等柔性物体在仿真中需离散为大量节点计算,对刚度、阻尼、摩擦等参数极为敏感。参数细微偏差即可导致仿真表现与真实世界严重偏离。RoboFinals RL Envs实现了刚体、关节体与柔体在同一任务环境中的协同交互,确保机器人在连续操作中能与不同物理属性的对象发生可信交互。

光轮智能通过全栈自研仿真底座SimFoundry,覆盖“求解-测量-生成”全链路,确立了“RL Ready”标准:任务语义有明确完成判定,物理交互反馈可靠,信号可直接用于训练。
物理可信:全栈能力支撑自动化校准与规模化
构建高质量物理AI仿真环境需要视觉真实且物理真实的资产、高精度求解器及专家经验。光轮智能作为Newton仿真技术委员会成员及SimReady标准贡献方,具备这三项核心能力,并通过Agentic校准工作流实现闭环优化。
以汽车维修任务为例,针对软管牵拉时的异常抖动,Agent自动校准寻找影响最大的杨氏模量参数,再由人类专家对比真实数据进行最终判定。经过迭代,最大位置偏差缩小约3毫米,抖动显著减轻,实现了仿真响应向真实物理世界的逼近。
△ 光轮智能已实现物理真实的颗粒、柔体与刚体的协同交互
△ 从V1到V3,与真实数据对比的误差结果不断缩小
此外,RoboFinals RL Envs与RoboFinals Benchmark共享任务语义与资产定义,但严格分离训练与评测实例,确保了学习效果检验的独立性。通过将环境构建、校准、评测与交付打包为标准产品,光轮智能降低了模型团队的使用门槛,使RL Envs成为可采购、复用的基础设施组件。
演示数据显示,策略在环境中经过多阶段迭代:从初期的动作抖动、无法抓取,到中期的尝试抓取但滑落,最终在第175步成功抓起螺丝。这验证了该环境能够有效承载策略的试错与行为进化。
结语:补全物理AI持续学习的基础设施拼图
大模型能力的提升不仅依赖算法,更取决于训练任务、交互条件与反馈机制。对于机器人而言,环境决定了其能练习的内容及获取反馈的质量。光轮智能通过推出RoboFinals RL Envs,将产品能力从数据供给、仿真技术、规模化评测延伸至交互式训练环境,补全了模型持续学习的关键一环。
随着机器人承担的任务日益复杂连续,构建能够承载精细化操作、物理交互及长程反馈的学习环境,已成为物理AI基础设施建设的重要方向。

