一文讲透2026年具身智能技术栈：VLM、VLA、VLN、世界模型- 大数跨境

一文讲透2026年具身智能技术栈：VLM、VLA、VLN、世界模型

魔方AI空间

2026-07-05

导读：机器人如何感知、理解、导航、行动，并预测行动之后的世界。

写在前面

【从零走向AGI】旨在深入了解通用人工智能（AGI）的发展路径，从最基础的概念起，逐步构建完整的知识体系。

项目地址🔗：https://ai-mzq.github.io/From-Zero-to-AGI/^[1]

「具身智能」交流群 >>

2026 年，理解具身智能大模型，可以先从一个很具体的任务开始。

比如，机器人第一次面对空气炸锅，要在人的语言指导下把红薯放进去加热。这类任务在 Physical Intelligence 的 π0.7 展示^[2] 和 π0.7 技术报告^[3] 里已经不再只是概念演示。

——注：本文部分配图由AI制作，仅供参考

它看起来像家务，其实几乎把具身智能的关键能力都压进了一个场景里：机器人要看懂桌面、红薯和空气炸锅的位置，理解“放进去加热”包含哪些步骤；要判断自己该移动到哪里、手臂从哪个角度接近；真正执行时，还要把理解变成连续动作，并根据环境反馈继续修正。

这就是为什么理解具身智能大模型，绕不开四个关键词：VLM、VLN、VLA 和世界模型。

它们并不是彼此孤立的四类模型，而是机器人完成真实任务时必须接上的四层能力：

· VLM：看懂环境，理解人的任务。

· VLN：判断目标在哪里，自己该怎么过去。

· VLA：把理解变成动作，真正控制身体。

· 世界模型：在行动前预判后果，评估下一步可能发生什么。

如果说过去的大模型主要在屏幕里回答问题，那么具身智能要面对的是一个会反过来改变模型输入的真实世界。

欢迎关注【魔方AI空间】👇

机器人每迈一步、每伸一次手，环境都会变化，错误也不再只是一句话说错，而可能变成碰撞、滑落和安全风险。

因此，本文不把 VLM、VLN、VLA、世界模型放到四条平行赛道里，而是用真实任务中的行动闭环来解释：机器人如何感知、理解、导航、行动，并预测行动之后的世界。

01 开篇：大模型走出屏幕之后，问题彻底变了

拿“使用空气炸锅加热红薯”这个任务来说，它听起来不复杂。对人来说，可能只是厨房里的几分钟。

但对机器人来说，这不是一句简单指令，而是一整串连续决策。

它要先看懂红薯在哪里，空气炸锅在哪里，锅门、托盘、按钮分别是什么；如果机器人和操作台之间还有距离，它还要判断自己该移动到哪里，身体该停在什么姿态；伸手之前，它要估计夹爪从哪个角度接近，红薯会不会滑落，锅沿会不会挡住动作。中间任何一步出错，都不是“回答不准确”这么简单，可能会碰撞、卡住、掉落，甚至带来安全风险。

这就是具身智能和普通大模型应用的根本差别。

LLM 的基本循环是：

输入文字 → 输出文字

具身智能的循环是：

读取传感器 → 理解任务 → 执行动作 → 改变环境 → 读取反馈 → 继续修正

它面对的是一个连续、动态、部分可观测，而且动作往往不可撤销的世界。

所以，2026 年讨论具身智能大模型，不能只问“模型参数有多大”。更重要的问题是：机器人如何看懂环境、如何听懂任务、如何规划路径、如何输出动作，又如何在脑中预演行动后果。

这就是接下来本文要讲的四个主角：VLM、VLN、VLA 和世界模型。

02 何为具身智能大模型？

具身智能大模型，就是把基础模型的视觉、语言、常识和推理能力，接到一个能感知、能行动、能接收环境反馈的系统里。

这里的“身体”不一定非得是人形机器人。机械臂、移动机器人、无人车、仿真环境里的智能体，都可以算。关键不是外形，而是它能不能通过传感器读世界，通过动作改变世界，再根据反馈继续调整自己。

推荐几篇综述可以帮我们快速理解。

《Aligning Cyber Space with Physical World: A Comprehensive Survey on Embodied AI》^[4] 把具身智能放在“数字空间和物理世界对齐”的框架下理解，核心是感知、交互、智能体和 sim-to-real。

《Foundation Models in Robotics》^[5] 更偏机器人基础模型视角：基础模型不是只替换某一个模块，而是会影响感知、决策和控制这条机器人自治链路。

《Large Model Empowered Embodied AI》^[6] 则更贴近这篇文章的主线：大模型正在进入高层规划、低层执行、反馈学习、VLA 和世界模型。

03 VLM：机器人先要看懂，才能谈行动

VLM，也就是 Vision-Language Model，负责把视觉和语言对齐。放到机器人身上，它解决的是第一件事：机器人到底看见了什么，又该怎样把眼前画面和人的指令对上。

在普通多模态应用里，它可以看图问答、识别物体、描述场景、理解图中关系。到了机器人场景里，VLM 的作用会变得更具体：它要帮助机器人知道自己看见了什么，用户指令指向什么，当前场景里有哪些可操作对象，以及任务可以怎样拆解。

比如“用空气炸锅加热红薯”这句话，VLM 至少要先解决几个问题：

· 哪个物体是红薯？

· 空气炸锅在哪里？

· 锅门、托盘、按钮分别是什么？

· “放进去加热”大概包含哪些子步骤？

早期有代表性的工作是 PaLM-E^[7]。它把图像、机器人状态估计和文本一起送入语言模型，让模型围绕具身任务做多模态推理。这里的关键不是“看图说话”更准了，而是模型开始把视觉、语言和机器人自身状态放到同一个上下文里理解。

alt text PaLM-E 概览

在 Gemini Robotics-ER^[8] 这项工作中，VLM 的角色又往前走了一步。DeepMind 把它描述为面向机器人空间理解和 embodied reasoning 的模型，强调的能力包括指向、3D 检测、抓取预测、轨迹预测等。换句话说，它不只是回答“画面里有什么”，而是开始回答“这个东西和我的身体、动作、安全路径有什么关系”。

但 VLM 的边界也很明显。

它可以说“红薯在托盘旁边”，却不一定知道机械臂每个关节该怎么动；它可以根据图片判断“这里可能会碰到锅沿”，却不一定能在高频控制里稳定避障；它可以给出一个计划，却不一定能承受真实世界里的摩擦、遮挡、碰撞和误差累积。

所以，VLM 很重要，但它不是完整答案。它让机器人“看懂”和“想明白”了一部分事情，真正要把这些理解变成动作，还需要 VLN、VLA 和世界模型。

04 VLN：机器人如何听懂路线，并在陌生环境里走对路？

如果 VLM 解决“我看到了什么”，VLN 解决的就是“目标在哪里，我该怎么走过去”。

VLN，全称 Vision-and-Language Navigation。它不是普通地图导航，而是让智能体根据自然语言指令、第一视角画面和自己的历史轨迹，在陌生环境里找到目标位置。

经典的 Room-to-Room^[9] 任务里，指令可能是这样的：

上楼，穿过正前方的拱门，经过钢琴。当走廊尽头是画作和桌子时，向右转。在挂在墙上的麋鹿鹿角旁等待。

这比地图导航难得多。

地图导航通常给你一个坐标，系统负责算路线。

VLN 里，机器人拿到的是一句人话，而且它看到的不是完整地图，而是不断变化的第一视角画面。它要把“上楼”“正前方的拱门”“钢琴”“走廊尽头的画作和桌子”“墙上的麋鹿鹿角”这些语言线索，和眼前真实场景对齐；还要记住自己走过哪里，判断是不是走错了，必要时回退和重新规划。

所以，VLN 真正难的地方有四个：

· 语言 grounding：把“正前方的拱门”“钢琴”“画作和桌子”“麋鹿鹿角”这些描述，落到第一视角画面里的具体物体和位置上。

· 空间记忆：机器人经过钢琴之后，还要记得自己已经上楼、穿过拱门，不能在相似的走廊里反复确认同一段路。

· 条件判断：指令里不是简单说“看到画作就右转”，而是“当走廊尽头是画作和桌子时，向右转”。机器人要判断这个条件是否已经满足。

· 停止与安全：最后不是随便停下，而是要在墙上的麋鹿鹿角旁等待，同时避免挡路、碰到家具，或停在不安全的位置。

基础模型进入 VLN 之后，路线也在变化。

一条路线是把视觉大语言模型直接接到第一视角视频和连续动作上，比如 VLN-R1^[10] 尝试用 SFT 和强化微调，让模型从导航失败和奖励信号里继续改进。

另一条路线是把导航拆成快慢两个系统。高层 VLM 慢速思考，负责理解指令、识别地标、生成航点或子目标；低层策略快速移动，负责避障、轨迹和实时控制。NaVILA^[11] 和 DualVLN^[12] 这类工作都在说明一个趋势：VLN 正在从“语言导航任务”走向更接近机器人实机部署的闭环系统。

方法	主要输出	优点	主要问题
经典模块化导航	地图、路径、控制量	稳定、可解释	语义泛化有限
VLM 规划器	文字计划或航点	语言理解和泛化强	延迟高、动作粒度粗
端到端 VLN	离散或连续动作	流程统一	长程稳定性和可解释性弱
双系统 VLN	高层航点 + 低层轨迹	兼顾推理与实时性	系统训练和接口更复杂

因此，VLN 不是“会看地图”这么简单。它更像是给机器人建立空间行动能力：听懂人怎么描述路线，看懂环境里有哪些地标，记住自己走到哪里，并在移动中不断修正。

05 VLA：让模型真正输出机器人的下一步动作

VLM 可以看懂“把红薯放进空气炸锅”，也可以把任务拆成“找到红薯、打开锅门、抓取、放入”。但机器人不会因为读懂这句话，机械臂就自动动起来。

VLA，也就是 Vision-Language-Action Model，负责把视觉和语言理解继续往下接，变成机器人可以执行的动作。

一个 VLA 策略可以粗略写成：

动作序列 a_t:t+H = Policy(图像 o_t，语言指令 l，机器人状态 s_t，历史 h_t)

这里的输入包括四部分：

· 视觉信息：第三视角画面、腕部摄像头画面。

· 语言指令：“把红薯放进空气炸锅。”

· 本体状态：关节角、末端位姿、夹爪开合状态。

· 历史信息：刚才看到了什么、执行过哪些动作、是否发生过失败。

模型不会输出一句“抓住红薯”就结束。它要给出电机真正能执行的控制信号：机械臂向哪个方向移动、手腕旋转多少、夹爪什么时候闭合，以及接下来一小段时间内要连续完成哪些动作。

这也是 VLA 和普通 VLM 最直接的区别：

VLM：图像 + 语言 → 文本、语义或计划
VLA：图像 + 语言 + 本体状态 → 动作 token、控制量或动作序列

难点随之落到一个很具体的问题上：动作到底该怎样表示？

RT-2^[13] 把机器人动作离散成 token，让视觉语言模型可以像生成文本一样生成动作。

RT-2概览

OpenVLA^[14] 延续了这条路线，并开源模型、训练和微调链路。

OpenVLA 概览

Octo^[15] 使用扩散式动作生成，目标是适配不同机器人平台、传感器和动作空间。π0^[16] 则在预训练 VLM 旁增加 action expert，用 flow matching 生成连续动作，面向更高频、更灵巧的机器人控制。

几种常见动作表示可以这样理解：

路线	代表工作	直觉	特点
动作 token 化	RT-2、OpenVLA	把动作当作另一种语言	易接入 VLM，量化会损失精度
连续回归	行为克隆策略	直接预测位置、速度或关节控制量	简洁直接，但较难表达多种合理动作
扩散动作生成	Octo、Diffusion Policy	从噪声中逐步生成动作序列	能表达多峰动作分布，推理步骤较多
Flow Matching	π0 系列	学习噪声到连续动作的生成路径	适合连续动作块和灵巧控制

实际系统通常不会只预测下一帧动作，而是一次生成一小段 action chunk。这样能减少大模型推理延迟带来的停顿，但动作块太长，又可能来不及根据新画面纠错。模型必须在“动作连续”和“及时反馈”之间找平衡。

让机器人动起来只是第一步，VLA 还要处理四个更难的问题：

· 动作精度：夹爪偏几厘米，红薯就可能掉下来。

· 跨本体泛化：同一个任务，单臂、双臂和移动机器人有完全不同的动作空间。

· 长程稳定性：打开锅门、抓取、放入、关闭，每一步的误差都会传到下一步。

· 反馈与安全：物体滑动、抓取失败或人突然靠近时，机器人必须及时停下并重新规划。

所以，VLA 把“理解”接到了“行动”，但这根线还远没有接稳。接下来真正值得看的，是它如何从早期动作 token，逐步走向连续控制、长程任务、记忆和跨机器人泛化。

06 世界模型：机器人为什么需要在脑中预演未来？

如果 VLA 负责“迈出这一步”，世界模型负责的是“先想一想这一步可能带来什么后果”。

可以把它粗略写成：

当前状态 + 候选动作 → 未来状态与任务结果

还是以“把红薯放进空气炸锅”为例。机器人伸手之前，可以比较三种动作：

· 直接平移过去，夹爪可能撞到锅沿。

· 先抬高手臂再向下放，路径更安全。

· 提前松开夹爪，红薯可能掉到锅外。

世界模型先预测三种动作可能带来的结果，再把更安全的一条交给 VLA 执行。

这里的“世界”不等于一套完整的物理模拟器，也不一定要生成视频。它可以只预测潜空间中的未来状态、奖励或任务进度。关键在于：预测必须和机器人的动作对应，并且真的有助于控制。

视频生成：当前画面 + 文本 → 看起来合理的未来
世界模型：当前状态 + 动作 → 对控制有用的未来

三类世界模型，分别看什么？

路线	论文导读	核心架构
控制型世界模型	DreamerV3^[17]、TD-MPC2^[18]：理解世界模型怎样直接帮助决策	状态编码 → 潜空间动力学与奖励预测 → 想象训练或模型预测控制（MPC）
具身预测模型	V-JEPA 2^[19]：理解不重建像素也能完成机器人规划	视频编码 → 动作条件预测器 → 图像目标规划
世界基础模型	NVIDIA Cosmos^[20]：理解世界模型怎样服务数据和仿真	多模态条件 → 未来视频或场景 → 合成数据与测试环境

DreamerV3 和 TD-MPC2 更接近控制算法；V-JEPA 2-AC 关注动作条件下的未来表征；Cosmos 更像面向机器人和自动驾驶的生成式训练基础设施。它们都叫世界模型，但解决的问题并不相同。

世界模型正在进入 VLA

π0.7^[2] 可以接收轻量世界模型生成的视觉子目标，用“下一步应该变成什么样”约束动作。GR00T N1.5^[21] 则加入未来潜表示对齐，让策略在学习动作时，也学习动作之后的场景表征。

这类世界模型未必作为独立模块部署。它可以进入 VLA 的训练目标、视觉子目标或动作评分过程。

判断一个机器人世界模型好不好，最终不能只看生成画质，而要看它能否排对候选动作、减少碰撞和失败，并真正提高任务成功率。

07 VLM、VLN、VLA、世界模型如何协同工作？

VLM、VLN、VLA、世界模型更像四层能力，不一定对应四个独立模型。一个 VLA 里可能已经带着 VLM，移动操作模型可能同时完成 VLN 和 VLA，世界模型也可能藏在训练目标或动作评分过程里。

放回“用空气炸锅加热红薯”的任务，这套闭环可以简化成如下所示：

用户目标
  ↓
VLM：看懂环境，理解任务
  ↓
VLN：确定站位、路线和子目标
  ↓
VLA：生成底盘、机械臂和夹爪动作
  ↓
安全控制器：限制速度、力矩和碰撞风险
  ↓
机器人执行 → 环境变化 → 传感器反馈
     ↑                         │
     └──── 重新感知、预测和规划 ────┘

世界模型可横向作用于 VLN 与 VLA：
评估候选路线、动作后果和视觉子目标

机器人每移动一步、伸一次手，环境都会变化，整个循环也会重新运行。世界模型可以在动作前比较候选未来，也可以在动作后检查结果是否符合预期。

系统实现通常有两种路线：

· 统一端到端：一个模型共享视觉、语言、规划和动作表示，接口少，但更难调试，也更难保证实时性和安全边界。

· 分层混合：大模型低频推理，小策略高频执行，传统控制器负责硬实时与安全。模块更多，但更方便部署和替换。

从公开系统看，分层混合仍然很常见。

DualVLN^[12] 用慢速系统理解语言和规划目标，再用快速系统执行连续导航。Helix 02^[22] 则把语义推理、全身动作和底层平衡拆成三个时间尺度，其中 System 1 以 200 Hz 生成关节目标，System 0 以 1 kHz 处理平衡与接触。

π0.7^[2] 展示了世界模型的另一种接入方式：用轻量世界模型生成视觉子目标，告诉 VLA“下一步应该变成什么样”。

因此，四者汇合未必会得到一个包办所有能力的模型。更实际的组合是：基础模型负责理解和泛化，动作策略负责实时控制，世界模型提供预测，传统控制器守住硬件和安全边界。

08 2026 年值得关注的十大新方向

到了 2026 年，具身智能的研究重点正从扩大模型规模，转向推理效率、长期记忆、跨本体适配和真实部署。这些方向并非都在今年首次出现，但它们正在更具体地进入机器人系统与评测。

1. 多时间尺度架构

大模型适合做语义推理，底层控制却要在毫秒级响应。DualVLN^[12] 把慢速目标规划和快速连续导航分开，Helix 02^[22] 则用 System 2、System 1、System 0 分别处理语义、全身动作和底层平衡。

2. 推理不再每一步都展开

显式思维链能改善复杂任务，却会拖慢机器人动作。Fast-ThinkAct^[23] 尝试把长推理压缩成可解释的潜在规划，只在关键节点投入更多计算。重点开始从“会不会推理”转向“什么时候值得推理”。

3. VLA 走向端侧运行

机器人不能始终依赖稳定网络。Gemini Robotics On-Device^[24] 把低延迟推理和本地任务适配放到机器人端，不过截至 2026 年 7 月仍主要面向受信测试者。端侧 VLA 接下来还要继续解决算力、功耗和模型压缩。

4. 一个策略适配更多机器人本体

单臂、双臂、四足和人形机器人拥有不同的关节与动作空间。π0.7^[2] 和 GR00T N1.6^[25] 都在推进跨本体训练，但“共享任务知识”和“直接复用动作”仍是两件不同的事，新硬件通常还需要适配。

5. 从 VLA 走向 World Action Model

普通 VLA 直接从观察生成动作，World Action Model 则同时建模动作和环境变化。MotuBrain^[26] 将策略学习、未来视频和动作预测放进统一架构，代表了“边预测世界、边生成动作”的方向。目前这类工作仍以新近论文和预印本为主。

6. 导航、操作和全身控制合并

真实机器人任务很少只包含走路或抓取。ABot-M0.5^[27] 这篇 2026 年 7 月发布的预印本尝试统一移动与操作，Helix 02^[22] 则展示了行走、平衡和双臂操作的连续执行。移动操作正在成为检验系统能力的重要场景。

7. 世界模型开始生产机器人数据

真实遥操作数据昂贵，生成式仿真正在补充训练来源。DreamGen^[28] 使用视频世界模型生成神经轨迹，Cosmos 3^[29] 继续扩展面向 Physical AI 的合成场景。问题仍然是：生成画面像真实世界，不代表接触动力学也足够准确。

8. 从模仿示范走向经验学习

机器人部署后产生的失败、纠正和奖励，正在重新进入训练流程。π*0.6^[30] 使用示范、人工纠正和自主经验改进策略，Cosmos Policy^[31] 则利用 rollout 数据更新世界模型与价值函数。后训练的重点是让机器人从自己的执行结果中继续学习。

9. 长短期记忆进入长程任务

机器人既要记住刚才有没有抓稳，也要记住十分钟前已经整理过哪个区域。Multi-scale Embodied Memory^[32] 用短期视频记忆保存动作细节，用长期语言记忆记录任务进度。上下文越长未必越好，系统还得判断什么值得保留。

10. 从纯视觉走向主动感知、触觉与力觉

面对遮挡、插接、擦拭和装配，摄像头看到的东西并不够。ActiveVLA^[33] 让机器人主动选择视角，ForceVLA2^[34] 则把力感知接入接触丰富的操作任务。

安全贯穿这十条路线。Safety in Embodied AI^[35] 将风险覆盖到感知、规划、动作和人机交互；ForesightSafety-VLA^[36] 则进一步衡量任务执行过程中的安全成本与风险暴露时间。机器人完成了任务，不代表执行过程足够安全。