大数跨境

和 Robotic × LLM 研究员聊:LLM 会“吃掉”机器人模型吗?

和 Robotic × LLM 研究员聊:LLM 会“吃掉”机器人模型吗? 海外独角兽
2026-11-06
19
导读:LLM 冲击下,具身公司拼的是数据、硬件、部署一体化

Astra、Opus 等大语言模型(LLM)对机器人技术的冲击远超预期:LLM 正从任务规划的“大脑”向动作生成的“小脑”延伸。传统的“LLM 规划+专用模型执行”分工正在松动,引发了关于技术路线的深刻分歧。

基于 Best Ideas 线下活动的交流笔记,本文梳理了具身智能领域的核心观点:

1. 机器人是否仍需独立的“小脑”模型是主要分歧点;

2. 赋予机器人记忆并不等同于实现上下文学习(In-context Learning);

3. 动作精度要求推动了 UMI 数据需求的上升;

4. LLM 重塑了仿真价值,但环境搭建速度不等于物理模拟精度;

5. 灵巧手的价值在于适配人类现有工具链;

6. 具身公司需明确定位:追求模型智力上限,还是优化部署效率与成本。

⁠/⁠

LLM 开始能做机器人的“小脑”

1. LLM 能力延伸至 System 1
Astra 等 LLM 在机器人控制中的表现超出预期。以往 LLM 仅负责任务理解与计划制定(System 2),如今已能直接生成机器人动作(System 1)。这种从“大脑”到“小脑”的能力延伸,标志着技术范式的转变。

2. Astra 的表现与泛化能力
以 Astra 为例,虽非专为机器人训练,却能根据视觉输入生成位置、姿态及关节控制指令,并灵活调整双手轨迹。在 RoboDojo 仿真评测中,Astra 在中等推理强度下的平均得分(28.97)和成功率(22.48%)均优于当时多数 VLA 和 WAM 类基础模型。

注:RoboDojo 测评中,得分反映任务完成度,成功率要求完整完成任务。

⁠

3. 潜力与局限
当前测试仅让模型直接输出动作,若引入“执行-检查-修正”闭环,效果有望进一步提升。预计 2026 年底将出现接近满分的模型。Astra 还展现了跨本体泛化能力,能通过少量试错适应不同结构的机器人。

然而,部分研究者认为这仅是 LLM 编码和游戏能力的延伸,核心提升在于三维位置估计而非复杂的姿态调整。此外,推理速度慢、难以处理高自由度协调(如灵巧手、全身控制)仍是主要瓶颈。

4. 对训练范式的影响
LLM 的进步不仅体现在动作生成,更影响了训练范式。研究者开始借鉴 LLM 路径探索机器人的上下文学习能力,同时 LLM大幅缩短了仿真环境搭建时间,使仿真路线重获关注。

“大小脑”模型:融合,还是继续分工?

1. 核心分歧
随着 LLM 兼具规划与动作生成能力,机器人是否还需独立“小脑”成为争议焦点。

  • 融合派:认为任务理解与动作修正均需世界知识,单一强模型可同时承担 System 1 与 System 2。
  • 分工派:强调实时性与稳定性。通用模型推理延迟高,难以应对动态场景(如倒水、精细接触)。

2. System 0 的必要性
精细操作(如削皮)需毫秒级响应,依赖触觉反馈快速调整,被称为 System 0。由于云端通信加推理延迟可能达数百毫秒,System 0 必须本地运行。Dyna 联合创始人 York 提出,System 2 可低频云端指导,而 System 1 和 System 0 需本地实时响应。

3. 动态边界
System 0/1/2 的边界并非固定,取决于动作范围、速度要求及模型规模。固定映射且需快速响应的任务适合小模型,复杂决策则需大模型。

In Context Learning:机器人训练可以借鉴 LLM 的哪些方法?

1. 简单的记忆添加无效
In-context Learning (ICL) 旨在利用历史示范和反馈调整动作,无需重新训练。但实验显示,简单加入执行历史和反思能力并不能自动带来纠错能力,甚至可能干扰预训练效果。例如,模型虽能识别失败步骤,但仍重复错误动作。

2. 细粒度标注的关键作用
要让反思生效,需将语言反馈转化为具体动作调整。细粒度的 CoT(思维链)标注(如“抽屉没拉够,再拉开一点”并配对动作)比粗粒度标注更能提升模型表现。

3. 数据来源争议
关于 ICL 能力来源存在两种观点:一是源于训练数据中包含的失败与恢复示范;二是从 Coding 或 Computer Use 等任务迁移而来。鉴于真实错误数据稀缺,能力迁移的可能性受到关注。

4. 上下文的应用场景与瓶颈
约 80% 的任务仅需当前状态即可决策。长序列依赖或高精度任务更受益于历史上下文。但长上下文会导致动作混乱和推理延迟。Test-time Training (TTT) 曾被视为解决方案,但 Astra 等模型的 ICL 能力已展现出类似效果。

Astra makes simulation great again

1. 仿真效率大幅提升
LLM 极大缩短了仿真环境搭建时间(从数月缩短至分钟级),促使研究者重新看好通过仿真扩大训练规模的技术路线。机器人可在仿真中通过强化学习反复试错。

2. 视觉逼真不等于物理准确
光线追踪等技术提升了视觉真实感,但物理引擎在接触力、触觉模拟上仍有数量级偏差。视觉像现实不代表物理结果一致。

3. 成本与精度的权衡
提高仿真精度会显著增加计算成本和训练时间。对于刚性物体抓取等成熟任务,仿真价值较大;而对于柔性物体或复杂接触,直接采集真实数据可能更具性价比。

4. 世界模型与 Sim-to-Real
部分团队尝试用世界模型预测状态变化以替代部分仿真计算(如 SuperMimic),但其能力受限于训练数据。另一种思路是让模型适应仿真与现实的差异(Sim-to-Real),先在粗粒度仿真中学习,再通过少量现实试错适应。Physical RSI(实物自我改进)设想通过现实执行数据反哺仿真训练,形成闭环。

什么样的数据对机器人训练有用?

1. 数据类型对比
Ego(第一人称视角)、UMI(手持夹爪设备)和真机数据各有优劣。数据越接近机器人实际操作,采集成本越高。

  • Ego 数据:成本低,适合学习任务规划和空间关系,但缺乏力和触觉信息。未来随着机器人形态拟人化,其价值可能提升。
  • 真机数据:最准确,但成本高、规模小。适合覆盖仿真难以模拟的任务(如流体、叠衣)。
  • UMI 数据:性价比介于两者之间,近期需求激增。50小时 Ego 视频的效果可能仅相当于 5 小时 UMI 数据。

UMI 数据需求在快速上升

许多团队从 Ego 转向 UMI,因其提供的动作信息更接近机器人执行逻辑,且便于扩展触觉传感器。是否有自有本体决定了团队对 UMI 外购数据的依赖程度。

Data Scaling vs Data Recipe

除了数据量,筛选、标注和配比同样关键。

  • Data Scaling 派:认为现有数据规模不足,应优先扩大采集(如 Dyna 使用百万小时 Ego 数据)。
  • Data Recipe 派:主张先验证多源数据(Ego/UMI/真机)的最佳混合配比,再规模化采集,以避免资源浪费。

灵巧手的机会:这个社会的工具是为人手设计的

1. 全流程作业的刚需
虽然夹爪可完成大部分步骤,但只要有一步需要灵巧操作(如拿取细长试管、操作旋钮),夹爪机器人就无法独立完成整套流程。社会现有工具均为人手设计,改用夹爪需改造工具,成本高昂。

2. 工业与家庭场景的分歧

  1. 保守观点:标准化工厂用夹足矣,灵巧手需等待家庭机器人普及,短期难有大需求。
  2. 乐观观点:部分工业场景(如海鲜加工)同时需要负载和灵巧性,夹爪难以胜任。若频繁定制夹爪,不如直接使用通用灵巧手。

3. 可靠性与控制难题
灵巧手面临耐用性差(易故障)和控制复杂(手指协同难)的问题。目前许多 demo 中,灵巧手仅表现为开合,未发挥多自由度优势。

4. 三指手的折中方案
三指手在灵活性、稳定性和成本间取得平衡。但面临数据采集适配难(人手至三指映射)和研发投入分散(资源倾向于二指或五指)的挑战。

LLM 冲击下,具身公司优势在于数据、硬件、部署一体化

1. 战略定位选择
具身公司需决定研发重点:是提升模型智能上限(System 2 导向),还是优化执行速度与成本(System 0/1 导向)。

  • 提升智能:利用开源 LLM 进行预训练或后训练,降低新任务适配成本。Dyna 案例显示,强预训练模型可将微调时间从月缩短至天。
  • 优化部署:利用通用模型能力,通过蒸馏等方式获得小而快的专用模型,专注于特定任务的低成本、高效率交付。

2. 窗口期与护城河
专用小模型的速度优势可能被 LLM 厂商的推理加速所抵消。因此,具身公司应抓住窗口期,尽快将高效方案落地。真正的护城河在于“模型+硬件+部署”的一体化能力。

3. 数据闭环的价值
实际部署不仅是收入来源,更是获取稀缺数据(尤其是失败与恢复数据)的关键途径。末端硬件设计、数据采集策略与客户部署需协同考虑,形成“执行-反馈-改进”的正向循环。

⁠⁠⁠
【声明】内容源于网络
0
0
海外独角兽
各类跨境出海行业相关资讯
内容 409
粉丝 0
海外独角兽 各类跨境出海行业相关资讯
总阅读33.5k
粉丝0
内容409