作者丨邓哲敏
编辑丨齐铖湧

近日,机器人学习领域顶会 CoRL 2026 在美国奥斯汀举行。清华大学交叉信息研究院助理教授、星海图 CTO 赵行获颁 Early Career Keynote(青年成就奖),成为今年全球三位获奖者中唯一的中国学者。该奖项由同行提名产生,专门授予博士毕业十年内且在机器人学习领域有实质成果的年轻研究者,被视为该领域最高规格认可之一。
针对近期 GPT-6 Astra 接入机器人引发的行业关注,赵行在演讲中提出“时钟理论”,指出当前基准测试忽视了时间成本,并强调机器人智能应在不同时间尺度上分层组织。以下为演讲核心观点梳理:
时间是决定人形机器人量产的关键一环
赵行指出,机器人智能应当如何在不同的时间尺度上组织起来是量产的核心问题。从自动驾驶到四足、人形机器人,其研究始终围绕让机器人替代人类完成真实体力工作展开。
针对 GPT-6 Astra 等前沿模型在 RoboLab-120 和 RoboDojo 等仿真基准上的高分表现,赵行提醒业界注意:这些基准并未纳入时间维度测试。实验显示,Astra 每次调用基础模型耗时约 18 秒,导致机器人 97% 的时间处于等待状态。在引入真实时钟限制的受控实验中,直接策略和智能体策略的成功率分别从超 60% 暴跌至 15% 和 20%。
这表明,慢模型本身并非问题,关键在于是否与 System 1 结合。例如编排策略利用小神经网络处理高频控制,才能在真实物理世界中保持高效。
基于 Waymo 自动驾驶量产经验及 MIT Cheetah 机器狗研发经历,赵行强调实验室 Demo 与产业级产品之间存在“鲁棒性”鸿沟。大模型直控成功率在真实时钟下暴跌,正是这一鸿沟的体现。
时钟定义层级
关于机器人系统分层,赵行主张以“时钟”而非功能划分层级。System 2 负责理解当下与利用经验,时钟尺度为秒到分钟;System 1 响应手物相对运动,频率为几十赫兹;System 0 跟踪接触与力,需达到几百赫兹。
借鉴自动驾驶“快慢双系统”经验,应让快的层执行驾驶任务,慢的层负责思考决策。在人形机器人跑酷研究中进一步验证:反射机制必须驻留在快速层,且该层需独立完成从感知到动作的全流程。
不同场景对层级需求各异:工业装配仅需 System 0;物流分拣需强 System 1;餐厅服务需三者兼备;家务劳动则依赖强 System 2,对速度要求相对较低。这套分层思路已在理想汽车 DriveVLM-Dual 方案中落地,通过大模型慢思考与传统规控快响应的结合,支撑了超 40 万辆量产车。
让每一层快速运转的三项技术突破
针对 System 1 普遍过慢的问题,赵行团队提出了三项解决方案:
第一,Fast-WAM。 通过让世界动作模型与视频模型共享权重,并在训练时调整注意力机制,实现测试阶段跳过视频生成步骤。优化后的 16B 参数混合 Transformer 架构版本,在 RTX 5090D 上单动作推理仅需 60 毫秒,提速超 4 倍。
第二,G0.5。 星海图自研 VLA 模型将任务、边界框、动作轨迹统一编码为离散 token 流。实验表明,90% 的任务无需推理即可达到相同成功率,跳过推理后速度提升一倍,推理仅在长程任务中发挥作用。
第三,ActionCodec2。 采用流式动作 tokenizer 替代传统分块解码,使机器人每收到一个 token 即可立即执行,实现对动态目标的实时追踪与抓取,解决了分块模式下的延迟丢包问题。
层间信息传递:向下丰富,向上补全
现有研究多关注自上而下的指令传递,严重缺失自下而上的反馈通路。完整的双向通信应为:向下传递语言、目标、程序及运动指令;向上传递接触、力、跟踪状态、进度及置信度。
仅传递运动指令不足以应对复杂交互。如擦桌子等操作本质是力的交互,需超越运动层面,建立包含关节目标、身体运动、接触点及力的多维表征。UC Berkeley 的 Ctrl-F 工作证明,由贴近物体的 System 1 实时调节力指令,比顶层慢模型更有效。
当前许多失败案例源于跨层级反馈缺失:底层无法感知自身失败,高层又因延迟未能及时纠正。构建完善的跨边界反馈机制是下一步关键。
未来路径:分层与单模型均需考虑时钟
人形机器人发展主要有两条路径:
分层路线: 各层独立时钟,上层下发意图,下层上报反馈。难点在于下层需具备自主感知失败、自我纠正及主动上报能力。
单模型路线: 统一架构共享权重,为不同时钟配置专属专家模块。优势在于上下文共享与 KV Cache 复用,但面临行为克隆与强化学习联合训练的难题。
无论选择何种路径,时钟都必须是模型设计的内生变量。系统应根据响应需求匹配合适时钟的模型,而非反之。同时,建议社区在未来机器人仿真基准测试中,同步报告截止时限前的成功率与推理耗时,以更真实地评估技术价值。
从 MIT Media Lab 到 Waymo,再到创立星海图,赵行始终致力于物理世界 AI 的前沿探索。他坚信,具身智能的价值不在于单一模型的快慢或基准分数的高低,而在于构建能够真正替代人类进行物理劳动的完整系统。
未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!
公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。
未经「AI科技评论」授权,严禁以任何方式在网页、论坛、社区进行转载!
公众号转载请先在「AI科技评论」后台留言取得授权,转载时需标注来源并插入本公众号名片。

