LLM 开始能做机器人的“小脑”
1. LLM 能力延伸至 System 1
Astra 等 LLM 在机器人控制中的表现超出预期。以往 LLM 仅负责任务理解与计划制定(System 2),如今已能直接生成机器人动作(System 1)。这种从“大脑”到“小脑”的能力延伸,标志着技术范式的转变。

2. Astra 的表现与泛化能力
以 Astra 为例,虽非专为机器人训练,却能根据视觉输入生成位置、姿态及关节控制指令,并灵活调整双手轨迹。在 RoboDojo 仿真评测中,Astra 在中等推理强度下的平均得分(28.97)和成功率(22.48%)均优于当时多数 VLA 和 WAM 类基础模型。
注:RoboDojo 测评中,得分反映任务完成度,成功率要求完整完成任务。

3. 潜力与局限
当前测试仅让模型直接输出动作,若引入“执行-检查-修正”闭环,效果有望进一步提升。预计 2026 年底将出现接近满分的模型。Astra 还展现了跨本体泛化能力,能通过少量试错适应不同结构的机器人。
然而,部分研究者认为这仅是 LLM 编码和游戏能力的延伸,核心提升在于三维位置估计而非复杂的姿态调整。此外,推理速度慢、难以处理高自由度协调(如灵巧手、全身控制)仍是主要瓶颈。
4. 对训练范式的影响
LLM 的进步不仅体现在动作生成,更影响了训练范式。研究者开始借鉴 LLM 路径探索机器人的上下文学习能力,同时 LLM大幅缩短了仿真环境搭建时间,使仿真路线重获关注。
“大小脑”模型:融合,还是继续分工?
1. 核心分歧
随着 LLM 兼具规划与动作生成能力,机器人是否还需独立“小脑”成为争议焦点。
- 融合派:认为任务理解与动作修正均需世界知识,单一强模型可同时承担 System 1 与 System 2。
- 分工派:强调实时性与稳定性。通用模型推理延迟高,难以应对动态场景(如倒水、精细接触)。
2. System 0 的必要性
精细操作(如削皮)需毫秒级响应,依赖触觉反馈快速调整,被称为 System 0。由于云端通信加推理延迟可能达数百毫秒,System 0 必须本地运行。Dyna 联合创始人 York 提出,System 2 可低频云端指导,而 System 1 和 System 0 需本地实时响应。
3. 动态边界
System 0/1/2 的边界并非固定,取决于动作范围、速度要求及模型规模。固定映射且需快速响应的任务适合小模型,复杂决策则需大模型。
In Context Learning:机器人训练可以借鉴 LLM 的哪些方法?
1. 简单的记忆添加无效
In-context Learning (ICL) 旨在利用历史示范和反馈调整动作,无需重新训练。但实验显示,简单加入执行历史和反思能力并不能自动带来纠错能力,甚至可能干扰预训练效果。例如,模型虽能识别失败步骤,但仍重复错误动作。
2. 细粒度标注的关键作用
要让反思生效,需将语言反馈转化为具体动作调整。细粒度的 CoT(思维链)标注(如“抽屉没拉够,再拉开一点”并配对动作)比粗粒度标注更能提升模型表现。
3. 数据来源争议
关于 ICL 能力来源存在两种观点:一是源于训练数据中包含的失败与恢复示范;二是从 Coding 或 Computer Use 等任务迁移而来。鉴于真实错误数据稀缺,能力迁移的可能性受到关注。
4. 上下文的应用场景与瓶颈
约 80% 的任务仅需当前状态即可决策。长序列依赖或高精度任务更受益于历史上下文。但长上下文会导致动作混乱和推理延迟。Test-time Training (TTT) 曾被视为解决方案,但 Astra 等模型的 ICL 能力已展现出类似效果。
Astra makes simulation great again
1. 仿真效率大幅提升
LLM 极大缩短了仿真环境搭建时间(从数月缩短至分钟级),促使研究者重新看好通过仿真扩大训练规模的技术路线。机器人可在仿真中通过强化学习反复试错。
2. 视觉逼真不等于物理准确
光线追踪等技术提升了视觉真实感,但物理引擎在接触力、触觉模拟上仍有数量级偏差。视觉像现实不代表物理结果一致。
3. 成本与精度的权衡
提高仿真精度会显著增加计算成本和训练时间。对于刚性物体抓取等成熟任务,仿真价值较大;而对于柔性物体或复杂接触,直接采集真实数据可能更具性价比。
4. 世界模型与 Sim-to-Real
部分团队尝试用世界模型预测状态变化以替代部分仿真计算(如 SuperMimic),但其能力受限于训练数据。另一种思路是让模型适应仿真与现实的差异(Sim-to-Real),先在粗粒度仿真中学习,再通过少量现实试错适应。Physical RSI(实物自我改进)设想通过现实执行数据反哺仿真训练,形成闭环。

什么样的数据对机器人训练有用?
1. 数据类型对比
Ego(第一人称视角)、UMI(手持夹爪设备)和真机数据各有优劣。数据越接近机器人实际操作,采集成本越高。

- Ego 数据:成本低,适合学习任务规划和空间关系,但缺乏力和触觉信息。未来随着机器人形态拟人化,其价值可能提升。
- 真机数据:最准确,但成本高、规模小。适合覆盖仿真难以模拟的任务(如流体、叠衣)。
- UMI 数据:性价比介于两者之间,近期需求激增。50小时 Ego 视频的效果可能仅相当于 5 小时 UMI 数据。
UMI 数据需求在快速上升
许多团队从 Ego 转向 UMI,因其提供的动作信息更接近机器人执行逻辑,且便于扩展触觉传感器。是否有自有本体决定了团队对 UMI 外购数据的依赖程度。
Data Scaling vs Data Recipe
除了数据量,筛选、标注和配比同样关键。
- Data Scaling 派:认为现有数据规模不足,应优先扩大采集(如 Dyna 使用百万小时 Ego 数据)。
- Data Recipe 派:主张先验证多源数据(Ego/UMI/真机)的最佳混合配比,再规模化采集,以避免资源浪费。
灵巧手的机会:这个社会的工具是为人手设计的
1. 全流程作业的刚需
虽然夹爪可完成大部分步骤,但只要有一步需要灵巧操作(如拿取细长试管、操作旋钮),夹爪机器人就无法独立完成整套流程。社会现有工具均为人手设计,改用夹爪需改造工具,成本高昂。
2. 工业与家庭场景的分歧
- 保守观点:标准化工厂用夹足矣,灵巧手需等待家庭机器人普及,短期难有大需求。
- 乐观观点:部分工业场景(如海鲜加工)同时需要负载和灵巧性,夹爪难以胜任。若频繁定制夹爪,不如直接使用通用灵巧手。
3. 可靠性与控制难题
灵巧手面临耐用性差(易故障)和控制复杂(手指协同难)的问题。目前许多 demo 中,灵巧手仅表现为开合,未发挥多自由度优势。
4. 三指手的折中方案
三指手在灵活性、稳定性和成本间取得平衡。但面临数据采集适配难(人手至三指映射)和研发投入分散(资源倾向于二指或五指)的挑战。
LLM 冲击下,具身公司优势在于数据、硬件、部署一体化
1. 战略定位选择
具身公司需决定研发重点:是提升模型智能上限(System 2 导向),还是优化执行速度与成本(System 0/1 导向)。
- 提升智能:利用开源 LLM 进行预训练或后训练,降低新任务适配成本。Dyna 案例显示,强预训练模型可将微调时间从月缩短至天。
- 优化部署:利用通用模型能力,通过蒸馏等方式获得小而快的专用模型,专注于特定任务的低成本、高效率交付。
2. 窗口期与护城河
专用小模型的速度优势可能被 LLM 厂商的推理加速所抵消。因此,具身公司应抓住窗口期,尽快将高效方案落地。真正的护城河在于“模型+硬件+部署”的一体化能力。
3. 数据闭环的价值
实际部署不仅是收入来源,更是获取稀缺数据(尤其是失败与恢复数据)的关键途径。末端硬件设计、数据采集策略与客户部署需协同考虑,形成“执行-反馈-改进”的正向循环。

