编者摘要:本文围绕机器人操作策略方案展开研究,对比 RPG、Moonlake、UMI、Diffusion Policy 四类主流范式,剖析各方案底层逻辑、能力边界与落地痛点,为机器人端到端操作算法选型与迭代提供依据。Diffusion Policy 以扩散模型为基础,擅长连续动作生成、抗扰动强,对复杂连续操作任务适配性好,但推理成本偏高、长时序任务累积误差明显。UMI 聚焦手眼协同,依托大量人机演示数据,在近距离灵巧操作上表现突出,泛化能力局限于同分布场景,跨物体、跨环境迁移偏弱。Moonlake 侧重模块化分层架构,感知、规划、控制解耦,可复用传统控制模块,稳定性强,缺点是模块间依赖人工设计接口,复杂场景下调度链路长。RPG 基于强化学习范式,支持环境交互试错优化,适合动态环境下自适应调整,但样本效率低、仿真到现实迁移难度大,大规模部署成本高。
对比可见,四类方案不存在绝对最优解:扩散类适合连续柔顺操作;模仿学习类适合复刻人类灵巧动作;分层模块化方案优先保障可靠性;强化学习方案适配持续交互优化。当前行业共性瓶颈集中在长时序任务稳定性、小样本泛化、端侧推理速度、仿真现实鸿沟。本文认为,融合思路是重要方向:将分层规划的稳定性、扩散模型的动作生成能力、演示数据的先验知识结合,在保证动作连续性的同时降低推理开销;同时配套高质量演示数据集与自适应校验机制,平衡泛化、精度与部署成本,为工业、服务机器人灵巧操作落地提供可行路线。
10 个关键问题 Q&A
-
Q:四类方法底层最大区别是什么? A:RPG 靠和环境试错学;Moonlake 拆分模块分工;UMI 学人类演示;Diffusion Policy 用扩散模型生成连续动作。 -
Q:Diffusion Policy 为什么抗扰动更好? A:扩散模型多次降噪采样,对图像观测噪声有天然容忍,输出连续平滑动作。 -
Q:UMI 效果好的前提条件? A:需要大量同分布的人类手眼演示数据,场景、物体不能变化太大。 -
Q:Moonlake 模块化优势在工程上价值是什么? A:模块独立迭代,故障易定位,可复用成熟控制算法,安全性可控。 -
Q:RPG 最大落地卡点? A:需要海量交互样本,仿真训练的策略很难直接迁移到真实物理世界。 -
Q:长时序任务里哪个方案天然劣势明显? A:Diffusion Policy,逐步生成动作会持续累积误差。 -
Q:小样本场景优先选哪个? A:Moonlake,依赖先验控制知识,对数据需求量最低。 -
Q:柔顺装配这类连续接触任务优先考虑哪个? A:Diffusion Policy,擅长输出连续平滑轨迹。 -
Q:四类方案能不能融合? A:可以,常见组合:Moonlake 做顶层规划,Diffusion Policy 负责局部动作生成,UMI 提供演示先验。 -
Q:选型判断第一看什么? A:任务特性:是否动态、是否需要连续柔顺动作、数据量是否充足、端侧算力约束。
附录 TI‑0.1 技术报告
发布时间:2026 年 11 月 9 日 论文链接:https://research.tutorintelligence.com/ti0-1.pdf 公告博客:https://www.tutorintelligence.com/blog/ti0-1 引用格式:https://research.tutorintelligence.com/ti0-1#cite
演示:自主・1× Sonny 机器人搭载 TI‑0.1:在 DF1 环境下自主、实时完成乐高积木抓取与放置。
目录锚点: 摘要 引言 相关工作 TRACE 框架 Golem 软件栈 规模化方案 结论 致谢 引用 参考文献
摘要
本文提出 TRACE(基于遥测的重建、对齐与闭环评估,Telemetry-grounded Reconstruction, Alignment, and Closed-loop Evaluation):一套「真实→仿真→真实」智能体流水线,仅依靠少量人类示教数据,训练灵巧操作策略。 以往的真实转仿真方法大多基于图像或视频重建场景;与之不同,TRACE 依托 GPT‑6 Astra 这类前沿大模型构建智能体,在仿真环境中重建任务。它利用示教过程中同步采集的图像、控制指令以及机器人实测状态,拟合仿真器的外观与物理参数。 随后,在重建完成的仿真环境内,采用强化学习训练特权状态策略;任务进度采用混合马尔可夫决策过程(MDP)定义。再将该策略蒸馏得到 TI‑0.1—— 运行在 Sonny 机器人上的视觉动作分块策略。 硬件真机运行产生的数据会回流用于场景重建,形成闭环。这使得机器人学习转化为部署阶段算力扩容问题。 本文同时介绍 Golem:一套面向机器人的软件栈,用于高性能、规模化数据采集以及机器人本地策略推理。
图 1:真实场景与仿真场景对比。Sonny 胸部相机采集的一段示教画面,以及对应的仿真重建结果。
引言
行为克隆这类机器人学习方法已经产出不少亮眼演示效果。但这类方法需要海量真实场景数据,才能得到快速且稳定的控制策略;而采集包含修正动作的多样化示教数据,成本高、速度慢。除此之外,远程示教时受限于人的反应速度,并且缺少力反馈、触觉反馈,人工示教本身往往不是最优策略。
仿真则提供了另一条路径:仿真环境可以无限次开展强化学习训练,还能直接获取接触力、碰撞信息,有机会训练出优于人工遥操作示教的、具备接触感知能力的鲁棒策略。但过去想要得到一个保真度足够支撑策略迁移的仿真环境,每一项任务都需要大量人工调参,很难规模化落地「真实→仿真→真实」学习范式。
前沿大语言模型(LLM)改变了这一成本结构。像 GPT‑6 Astra 这类模型,可以读取图像和遥测数据、编写场景与渲染代码,迭代优化重建结果,直到仿真画面和真实录播对齐。只需要少量人工示教,就能为仿真器注入场景理解与任务意图。之后强化学习策略可以在大量并行仿真环境中反复练习;每一轮仿真都会随机调整任务布局、光照、背景以及动力学参数。在乐高抓取任务上,最优策略在仿真环境内成功率达到 99.8%。 这就把机器人学习重塑成一个部署时的算力问题:对于部署机器人上的某项固定任务,性能上限随仿真步长、大模型 token 用量提升。
现有大多数真实转仿真工作,只从图像、视频还原场景外观。但对于操作任务来说,仅有外观远远不够:仿真器还必须复现机器人对指令的响应、以及物体在机器人交互下的运动规律。 真实采集的遥测数据,可以把重建过程锚定在真实机器人的行为上,同时满足视觉保真、物理保真。
本文提出 TRACE,一套由前沿大模型智能体驱动的流水线,在仿真中重建机器人任务并训练策略。本工作属于机器人学习这个新范式下的同期研究。 本文主要贡献:
- 重建模块
基于遥测信号的真实转仿真流程。智能体通过逆渲染恢复场景视觉信息,通过指令回放拟合机器人与物体接触动力学。 - 对齐模块
混合马尔可夫决策过程任务描述方式。由智能体编写,仅需少量人工监督,捕捉示教里的语义任务理解和目标意图。 - 闭环评估
把特权状态策略蒸馏为 TI‑0.1 视觉动作策略,部署在双臂 Sonny 操作机器人上;真机运行数据回流形成闭环。 - 基础设施
Golem,面向高性能、规模化数据采集与机器人本地推理的机器人软件栈。
TRACE 流程:
-
种子输入:人工示教数据(图像、指令、机器人状态) -
智能体重建:视觉 + 物理双维度仿真重建 -
智能体对齐训练:特权状态强化学习策略训练 -
策略蒸馏:得到 TI‑0.1 -
真机部署:在 Sonny 上运行,真机数据回流迭代重建
图 2:TRACE 闭环流程。基于示教重建仿真环境,在仿真中训练特权状态策略,蒸馏得到 TI‑0.1 视觉策略。真机运行记录反过来更新仿真重建结果;重建、训练步骤由大模型智能体自动完成。
相关工作
从示教中学习
扩散策略、动作分块技术,让我们可以把同步机器人遥测数据通过行为克隆,训练出可用的视觉运动策略。通用操作接口(UMI)把数据采集拓展到和机器人末端形态一致的手持夹持器;也有研究将手持设备示教、遥操作示教结合,用于接触类任务。DF1 平台把机器人遥操作、人工校验数据集聚合(HG‑DAgger)规模化到大型机器人集群。这些工作共同搭建起依托遥操作、手持设备、仿真、第一视角视频构建机器人操作数据集的技术路线。
真实转仿真重建
以往「真实→仿真→真实」研究,会为策略训练和评估搭建真实场景的仿真复刻。ViPE 这类视频几何估计算法可以从录播中恢复相机位姿和场景结构。近期 RoboSimStudio 等工具链支持大模型智能体直接操控重建流程;GPT‑6 Astra 这类前沿模型已经可以完成长链路、多步骤重建任务。 和以上工作不同,TRACE 同时使用同步图像、控制指令、机器人实测状态做重建约束,要求仿真同时复现观测画面和机器人运动轨迹。
仿真保真度
仿真训练策略面临「现实鸿沟」问题。经典方案包括仿真参数域随机化、通过系统辨识与残差拟合让仿真模型逼近真实机器人。对于灵巧操作策略的仿真到现实迁移,接触建模尤为关键,这也是物理引擎和真实世界偏差最大的地方。VIRAL 等工作结合大规模随机化和真实 - 仿真对齐。TRACE 同样基于遥测数据拟合机器人控制器响应和接触行为;并且增加校验逻辑:同一个动作,真机成功 / 失败,仿真里也应当对应成功 / 失败,而不是单纯依靠仿真成功率判断好坏。
强化学习与策略蒸馏
本文在仿真中使用 PPO(近端策略优化)训练策略,采用非对称 Actor‑Critic 架构,Critic 侧可以读取特权状态信息。PPO 策略拥有特权状态,加速仿真训练;随后把它蒸馏成视觉策略,和过往研究思路一致。域随机化、成功引导课程学习(SGS)用来提升鲁棒性、解决稀疏奖励难题;AlphaNIST 的工作证明,只要任务多样性足够,仅靠二值任务奖励,大规模强化学习也能学会丰富的接触装配技能。 TRACE 使用混合马尔可夫决策过程描述任务;这套结构支持智能体自主奖励塑形,人工干预极少,同时保证学到的行为满足马尔可夫性,更容易跨越仿真现实鸿沟。
基于智能体仿真的机器人学习
同期也有不少工作利用智能体为真实机器人搭建仿真练习环境。RPG 方案让智能体读取离线数据集里的视频和文本描述,搭建仿真环境练习对应操作能力;Moonlake AI 基于场景采集和遥操作轨迹构建仿真环境,在仿真里用 RL 微调视觉语言动作模型,并蒸馏特权代码策略。 相比两者,TRACE 的路线是:智能体编写混合 MDP,在其上训练特权状态 RL 策略,再蒸馏得到视觉运动策略。
TRACE
概述
TRACE 只需要少量人工示教,就能生成保真度足够支撑真机部署的仿真环境,分为三大阶段:
- 重建
基于示教同步图像、指令、机器人实测状态,拟合仿真器外观与动力学; - 对齐
用混合马尔可夫决策过程定义任务,在重建仿真环境内训练特权状态强化学习策略; - 闭环评估
将特权策略蒸馏为 TI‑0.1—— 基于动作分块扩散模型的视觉策略,部署在 Sonny 机器人。
整个流水线由 GPT‑6 Astra、Claude Opus 5.5 这类前沿大模型驱动:智能体对比真实画面和渲染结果、编写每个任务的混合 MDP 和奖励函数、诊断特权策略行为。真机部署运行产生新数据,用来校验仿真器、暴露真实 - 仿真偏差,进入下一轮重建迭代。
重建
真实转仿真重建属于逆问题:反解出场景与物理参数,复现机器人看到的画面、以及动作带来的世界变化。少量示教数据提供对齐的图像、指令、机器人状态,把视觉观测、控制输入、运动结果绑定在一起。重建分为两部分:
- 视觉保真(逆渲染)
恢复几何结构、相机参数、材质、光照,还原录制图像; - 物理保真(逆物理)
恢复控制器响应、接触交互特性,还原录制轨迹和任务结果。
下文以乐高抓取任务为主例。
视觉保真:逆渲染
已知机器人模型、相机标定、录播数据,先搭建初始场景,通过机器人相机渲染画面。 记 \(O_{t,i}\in \mathbb{R}^{H_i\times W_i\times 3}\) 为第 i 号相机在时刻 t 的 RGB 帧;\(q_t\in \mathbb{R}^n\) 为对应时刻机械臂关节、夹爪位姿;C 代表先验信息(机器人运动学、相机内参标定)。 我们求解场景参数 \(\theta_\text{vis}\):描述场景几何、物体摆放、相机修正、材质、光照。渲染器 \(R_i\) 根据机器人当前构型预测相机观测。重建目标:让渲染输出 \(\hat O_{t,i}\) 和录制画面 \(O_{t,i}\) 尽可能匹配:
智能体负责闭环调优:对比真实画面与渲染画面,定位差异,修改场景代码、渲染参数,跨相机、跨时间反复渲染校验。机器人 CAD 模型、标定结果作为强约束,图像引导剩余细节调整。
几何与外观精细化
智能体根据真实图像修改场景材质、几何细节。示例:把通用木纹贴图替换为由实拍木片拼接而成的纹理;重新建模乐高积木底部空腔、支撑管、加强筋结构。
多相机下杂乱物体重建
一堆互相遮挡的乐高积木重建,是对智能体的考验:一个摆放方案要同时满足左右腕部相机看到的形状、颜色、遮挡关系。智能体利用多视图约束优化统一的三维布局。
DF1 环境光照与材质拟合
DF1 是作者拥有 100 台机器人集群的实验室场地。智能体根据照片、平面图重建房间布局与光照;利用集群胸部相机录制数据拟合桌面、物体材质。训练阶段开启域随机化,模拟一天之内光照自然变化。
拓展到完整工作站
这套重建思路不限于桌面场景。机器人模型、现场照片作为锚点,可以一并重建房间、货架、物料箱、工作台面等周边环境。
物理保真:逆物理
逆物理目标:找到一组动力学参数,解释录制指令带来的结果。我们初始化示教初始状态,回放控制指令,调整物理参数,缩小仿真观测与真实记录之间的差距:
i 是示教样本编号,\(u_t\) 是录制指令;\(\Phi\) 将状态映射为传感器观测;权重矩阵 W 用来平衡量纲和测量不确定性。固定指令序列和初始状态,智能体可以追踪参数修改对抓取、搬运、释放接触过程带来的影响。
重建两大对象:机器人对指令的响应特性、物体在机器人交互下的运动特性。
机器人响应拟合
位姿目标指令下发后,会经过机器人控制链路才转化为实际运动。作者把这套控制链路移植进仿真,拟合执行器延迟、响应速度,匹配实测关节运动。 通过校准排队指令的执行时机、执行速率,仿真轨迹误差显著下降。 在固定指令回放对比实验中,6.4 秒时长内仿真和真实机械臂位置误差 RMS 为 9.9 mm(该对比不包含物体接触)。
物体交互拟合
接触是操作任务的核心,也是最难重建的部分。几何、摩擦、柔顺度的微小差异,就会决定物体是否滑落。 作者结合 CAD、硬件参数、录播数据约束物体和夹爪属性。 乐高特权策略曾出现一个典型问题:学会依靠积木凸点捏住积木,这种接触模式在仿真有效,但真机夹爪做不到。团队于是修改夹爪垫片等效刚度、行程限制、摩擦系数:新版本模型里,只捏凸点很难抓稳;而抓住积木主体的夹持方式依然可靠。 在固定权重策略对照实验:旧接触模型下凸点抓取成功率 84.5%,新版降到 2.6%;主体抓取维持 92.8% → 96.0%。全部优化叠加后,仿真最优策略成功率 99.8%。
接触模型验证方案:用实测关节轨迹驱动仿真机械臂,回放夹爪指令,乐高积木受力自由运动。对比积木抬起时刻、滑落、释放时序,用来迭代几何、摩擦、柔顺参数。 示例时序对照:
-
夹爪闭合指令:2.06 s -
真实视频抬起:约 2.30 s -
仿真抬起高度 > 30 mm:2.41 s -
释放指令:3.15 s -
接触脱离:3.19 s -
真实释放:约 3.30 s
对齐
仿真环境重建完成后,训练特权状态策略控制机械臂和夹爪;仿真轨迹作为视觉策略的示教样本。 对齐问题:设计奖励函数,让优化出来的行为符合任务意图。本文通过任务定义、奖励塑形、训练流程共同解决。 任务建模为混合马尔可夫决策过程(混合 MDP):状态 \(s_t\) 包含机器人构型、物体位姿、速度、接触、任务历史;离散模式 \(m_t\) 由仿真状态谓词判定,代表当前子任务。转移守卫条件定义模式切换规则,类似混合自动机、奖励机。
\(a_t\) 是臂和夹爪动作;g 是任务转移条件。这套表达可以指定交互序列,同时让策略自主学习运动轨迹。
通过模式定义任务进度
以「拆乐高」任务为例:从料箱堆里取出一块积木放到桌面目标区域,机械臂回到原点,其余积木留在箱内。 如果只给最终完成二值奖励,在成功之前没有任何进度信号,容易出现奖励 hack:早期策略学会直接把整箱积木倒出来,再摆正箱子,骗过成功判定。 作者把意图显式拆成有序阶段:
抓取抬起 → 放置单块积木 → 稳定落位 + 机械臂回原点
每一步转移都有可测量条件:放置阶段要求积木落在目标区域、且仅有一块积木离开料箱;全部完成额外要求场景静止、机械臂回原点。 这套模式结构具备通用性,智能体可以在极少人工监督下,为新任务编写模式与奖励;同时校验模式是否能被机器人观测推断,保证视觉策略依然满足马尔可夫性。这套范式也可以表达其他时序任务,例如先摆正杯子再抓取。
仿真内策略训练
每个任务用 PPO 在并行随机仿真环境训练特权策略。Actor \(\pi_\psi\) 根据机器人状态、可见物体位姿 \(o_t\) 输出臂与夹爪指令;Critic \(V_\phi\) 额外读取特权信息 \(c_t\),包含接触、任务模式:
根据轨迹计算回报目标与优势估计,更新 Actor 最大化 PPO 目标,更新 Critic 做回报预测:
\(J_\text{PPO}\) 为 PPO 目标函数;\(\eta_\pi,\eta_V\) 是学习率。
仿真器校验
策略学到的动作完全取决于仿真物理允许的行为。本文基于 Isaac Lab + OvPhysX 搭建环境;仿真步长、求解迭代次数、接触设置同时影响保真度与训练吞吐。 作者用脚本化极限轨迹做压力测试:快速趋近、偏心抓取、变向、持续夹持。 如果夹爪指尖穿透刚体积木,依然能拿到抓取奖励,训练就会固化现实中不可能实现的抓取方式。校验方案是全程检查接触状态,跨求解参数对比同一条轨迹,而不是只看任务成功率。
面向迁移的行为塑形
特权策略可以读取相机视野外精确物体坐标,输出突变修正,这些很难被视觉策略复刻。因此训练特权策略时:只有物体出现在腕部相机视野内,才向 Actor 提供物体仿真位姿;并且对位姿增加噪声,模拟 RGB 估计误差。 示例:早期策略会在横向扫动时释放积木,仿真可以成功,但真机误差会让落点不可控。增加释放惩罚项,引导更低、更平缓的释放动作,降低对时序误差的敏感度。
同时对特权策略做平滑运动参数化。逐步输出动作的策略会高频修正,而动作分块策略是预测一段动作、执行完再重新规划,很难复刻高频抖动修正。平滑参数化之后,特权策略指令的加速度均方根(jerk)降低约 4–5 倍。后续蒸馏实验证明:在平滑轨迹上训练的视觉策略收敛更快、成功率更高;平滑运动也是 RTC(实时分块)稳定运行的前提。
稀疏奖励学习
模式和塑形已经显式定义期望行为;作者还测试了反向课程学习:从接近完成的状态开始采样,随着策略变强,逐步增加更早、更难的起始状态。 乐高抓取任务预先构建固定状态池,覆盖趋近、抬起、搬运、释放、回原点。脚本运动 + 物理生成状态,通过抓取、放置校验过滤。SGS 方法根据历史成功率动态调整采样概率:成功率 50% 附近的状态采样更多;当后序步骤稳定后,采样重心向更早、更难的起点移动。 乐高抓取任务搭配这套方案,仅使用二值任务奖励 + 运动正则,仿真测试集成功率达到 99.8%。但这套方案在「拆乐高」任务上效果有限,拆乐高仍然必须依靠模式定义和奖励塑形。
闭环评估
通过策略蒸馏,把特权策略在仿真里生成的轨迹,转化为仅依靠机器人传感器输入的视觉策略:
\(h_t\) 是传感器历史,\(A_t\) 是从特权轨迹提取的动作块;\(\omega\) 是视觉策略参数;部署阶段不再能访问仿真特权状态。
从仿真状态到相机控制
在仿真中运行特权策略,同步记录胸部、腕部图像 + 机器人状态 + 目标动作。 TI‑0.1 采用动作分块扩散模型:根据近期相机图像、机器人本体感知,预测一段臂和夹爪动作。复用真实示教训练管线,保证坐标系、观测 - 动作时序和机器人控制器一致。
域随机化
重建得到基准场景;训练特权策略、生成视觉策略数据集时,每条仿真 episode 独立随机采样:
-
任务配置:积木、料箱位姿,杂物布局,桌面高度,机械臂初始位姿; -
外观:三类背景(DF1 实验室背板、室内 HDRI、纹理房间),光照位置、亮度、色温,物体颜色;桌面、料箱材质固定; -
动力学:物体质量、摩擦系数,夹爪阻尼、夹持力,控制器延迟。
训练视觉策略时,对本体感知输入增加扰动,提升仿真到现实迁移鲁棒性;实验发现少量噪声即可显著改善真机表现。
真机实验反馈
真机测试链路覆盖感知、运动指令、接触交互。前面提到的凸点抓取案例就印证:仿真成功不足以代表真机可行。真机录播数据可以对比「策略看到什么、下发什么指令、实际运动结果如何」,定位是重建偏差还是训练问题。
Golem
集群环境下采集示教、评估策略,需要一套稳定高性能机器人软件栈。示教数据要求图像、机器人状态、指令时序严格对齐;集群之间时序、标定、指令处理差异会污染数据集、干扰实验结论。 Golem 的设计目标:拉高数据质量下限,缩短「采集示教 → 真机策略评估」周期。核心设计:稳定时序、可追溯录播、可复现实验,同时兼顾控制与推理效率。
Sonny 机器人硬件:头部相机、胸部相机、双腕相机,双臂双夹爪。
Golem 架构:相机采集、臂控制核心逻辑用 Rust 实现;策略推理在机器人 GPU 上以 Python 进程运行。 对比旧版纯 Python 栈:CPU 占用降低 90%,内存降低 79%,相机流延迟降低 68%。
并行臂控制
目标解算和指令发送解耦:机械臂执行当前指令的同时,可以并行计算下一个目标。每条臂两条线程:一条求解逆运动学 + 碰撞检测;一条以固定频率下发最新目标。双臂并行规划;相机采集、录播独立于臂控制流。
时序同步
相机图像、机器人状态、指令走不同链路,延迟各不相同。Golem 基于 NTP 时钟校准,把所有数据流对齐到统一时间轴,保证图像观测、运动状态、下发指令可以精准关联。这对于示教学习、仿真重建至关重要。
本地 GPU 推理
推理闭环完全在机器人本地:组装相机图像、本体观测输入 → 策略 GPU 推理 → Rust 调度臂目标、下发指令给臂与夹爪,本体反馈形成闭环。 Rust 负责观测组装、调度;Python 进程运行策略。 单步指令准备调度耗时(不含模型推理):Python 平均 6.57 ms,Rust 平均 0.04 ms,提速约 156 倍。
模型复用
Golem 支持会话启停而不需要重载模型;加载时自动预热 GPU。可以同时常驻加载两套策略:正向执行策略 Do、反向复原策略 Undo。交替运行二者,不需要人工重置场景。
模型加载性能对照(相同权重、相同输入)
|
|
|
|
|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
相机链路、CPU、内存对比(120s 稳态测试)
表格
|
|
|
|
|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
规模化
部署在多样化场地、多样化任务中的机器人群,可以持续产出同步图像、指令、机器人状态,用来大规模重建高保真仿真环境。 DF1 集群相当于机器人「训练场」:单台机器人需要数小时才能暴露的失效模式,在集群中几分钟就能复现。在集群上跑仿真训练策略,每一次真机失败都可以定向修正仿真模型;同时支持最多 100 台机器人并行评估新任务。 未来目标:持续优化流水线,让重建、训练、评估在 DF1 和现场部署集群上持续自主运行。
结论
TRACE 仅依靠少量人工示教,在仿真中训练灵巧操作策略。面向真机迁移的仿真环境,必须同时满足视觉保真和物理保真;TRACE 使用机器人自身录制的遥测数据拟合机器人指令响应、物体交互特性。前沿大模型让这套重建流程可以低成本复制到新任务;真机运行数据形成闭环迭代。 TI‑0.1 由仿真特权强化学习策略蒸馏而来,可以在 Sonny 机器人上自主、实时完成乐高抓取放置。搭配 DF1 数据采集与真机评估集群,TRACE 把少量机器人示教,放大成远超原始录播样本量的学习经验。
核心结论
-
仅有视觉保真远远不够:操作仿真必须用同步指令、机器人实测状态拟合动力学,不能只匹配画面; -
必须直接校验接触效果:任务成功率指标会掩盖物理上不可能实现的抓取;回放指令、检查接触才能发现隐患; -
特权策略训练时就要为蒸馏做适配:限制特权观测范围、平滑运动,才能顺利迁移到视觉策略; -
真机是最终真值:只有真机运行,才能暴露凸点抓取这类仿真指标完全无法发现的鸿沟。
现存局限
高精度任务需要比当前方案更精细的几何、接触保真;相机、机器人标定误差会同时污染渲染和动力学重建;柔性物体本身就是物理引擎难题,软夹爪垫片这类柔顺元件,很难仅凭遥测数据辨识参数。
招聘信息:如果你希望投身机器人学习规模化与落地部署方向,欢迎投递 Tutor Intelligence。
致谢
感谢 Tutor Intelligence 团队:示教员(Tutors)提供种子示教;制造、运维团队搭建、维护 DF1 和现场机器人集群;商业化、实施、客户成功团队推动机器人落地;以及各位客户伙伴,共同推动通用机器人走向实用。
引用
@techreport{tutor2026ti01,
title = {{TI-0.1} Technical Report},
author = {{Tutor Intelligence}},
institution = {Tutor Intelligence},
year = {2026},
url = {https://research.tutorintelligence.com/ti0-1}
}
参考文献(略)
插图

