一句话洞察
当前VLA模型大多是”语义巨人、空间矮子”——能识别”红色杯子”，却感知不到”杯子离我多远”。GEM在VLM预训练阶段就引入深度图生成任务，让模型从2D图像中主动学习三维空间结构。结果：VSI-Bench提升12.7%，LIBERO四套件平均96.1%，真实世界长程任务成功率从28.7%跃升至43%。
为什么现有的VLA模型”空间感”不足？
VLM的主流训练范式是文本监督——看图回答问题、描述场景、识别物体。这种训练让视觉token充满了语义信息（“这是杯子”），却缺乏结构信息（“杯子在桌面上方15厘米”）。
当这样的VLM被接入VLA做机器人控制时，问题暴露无遗： - 能识别目标，但估不准距离 - 能理解指令，但算不出空间关系 - 在仿真数据上表现好，一到真实世界就”手眼不协调”
【图1｜GEM概览】 左图展示了GEM的核心架构：VLM骨干 + DiT深度生成头，在预训练阶段就融合语义理解与深度生成。右图展示了GEM-VLA在仿真（LIBERO）和真实世界（UR5）任务上的全面领先。
GEM的核心设计：深度生成不是”外挂”，是”基建”
混合自回归-扩散架构
GEM没有改VLM的主干结构，而是在其侧面”嫁接”了一个深度生成头：
组件 |
功能 |
设计细节 |
VLM骨干 |
语义理解 |
Qwen3-VL（2B/8B），提取视觉token |
轻量连接器 |
特征桥接 |
2层MLP，将VLM输出投影到DiT输入空间 |
DiT深度头 |
深度图生成 |
基于Sana架构的扩散Transformer，条件化于VLM视觉特征 |
关键设计：深度生成头不是独立模块，而是直接条件化于VLM的视觉token。这意味着VLM在训练深度生成任务时，其视觉表示被迫编码三维空间结构——这种结构感知的视觉特征再用于下游的语义理解和动作预测，形成良性循环。
【图2｜GEM架构与训练流程】 上半部分展示了VLM骨干、连接器和DiT深度头的数据流：图像→VLM编码→连接器投影→DiT生成深度图。下半部分展示了四阶段渐进训练：Stage 1冻结VLM和DiT只训练连接器；Stage 2冻结VLM训练连接器和DiT；Stage 3端到端联合训练；Stage 4训练动作专家扩展为VLA。
渐进式训练：先搭桥，再通车
直接端到端训练会导致VLM语义表示与DiT结构表示”打架”。GEM采用三阶段渐进策略：
Stage 1｜连接器初始化（500步） 冻结VLM和DiT，只训练连接器。让VLM的语义特征空间与DiT的结构特征空间初步对齐。
Stage 2｜生成头热身（4K步） 冻结VLM，训练连接器和DiT。让深度生成头学会将高级语义特征转化为精细的深度图。
Stage 3｜联合训练（1 epoch） 全部解冻，端到端联合优化。损失函数：
Stage 4｜VLA扩展 在Stage 3基础上，接入DiT动作专家，训练GEM-VLA。损失函数加入动作流匹配：
GEM-4M：不只是”大”，更是”对”
数据集规模重要，但数据构成同样关键。GEM-4M包含约400万条高质量样本，覆盖三大维度：
数据类别 |
规模 |
来源 |
核心价值 |
具身Grounding |
~1.1M |
PACO-LVIS、RoboPoint、RoboAfford、机器人数据SAM3标注 |
物体识别、定位、affordance感知 |
物理/空间推理 |
~2.35M |
MindCube、ViCA、SPAR、VSI-590K、RoboVQA等 |
距离估计、空间关系、时序推理 |
时空规划 |
~50K |
机器人子任务标注 + CoTracker3轨迹跟踪 |
子任务分解、轨迹规划 |
关键细节：对于缺乏GT深度标注的数据，使用DepthAnything v3生成伪深度图作为监督信号。这使得几乎所有公开数据集都能被纳入深度生成训练。
实验结果：从空间推理到真实操作，全面刷新SOTA
空间推理基准：超越Gemini-3-Pro
【表1｜空间理解基准对比】
GEM-8B在VSI-Bench上从Qwen3-VL-8B的57.9提升到70.6（+12.7%），在MMSI-Bench上从27.7提升到35.3（+7.6%），全面超越Gemini-3-Pro。
【表2｜物体放置与空间定位基准】
GEM-8B在Where2Place和RoboSpatial上均达到SOTA。
LIBERO仿真：96.1%平均成功率
【表3｜LIBERO四套件成功率】
GEM-VLA以96.1%的平均成功率刷新LIBERO记录。尤其在Long套件（长程任务）上达到89.3%，比π₀的85.2%提升4.1pp——证明了深度生成预训练对长程、多步操作的促进作用。
真实世界：UR5机器人三项挑战性任务
【图3｜真实世界任务结果】 展示了GEM-VLA与π₀.₅、π₀-FAST在三个真实世界任务上的对比柱状图。
核心发现： - Cloth Folding：40.0%，领先π₀.₅的33.0%（+7pp） - Table Bussing（长程5子任务）：平均进度0.65，比π₀.₅的0.39提升67% - Unzipping：35.0%，是π₀.₅的8.0%的4.4倍 - 移除深度监督后（GEM-VLA w/o D-sup）性能显著下降，验证了深度生成的核心价值
【图4｜真实世界任务示例】 展示了三个任务的执行流程：Cloth Folding（折叠左袖→右袖→底部翻折→完成）、Table Bussing（摆放叉→刀→勺→盘→高脚杯→完成）、Unzipping（抓取拉链→拉开→完成）。
消融实验：为什么深度生成比RGB重建更有效？
深度监督 vs RGB监督
【表4｜监督信号对比消融】
RGB重建作为监督信号效果不如深度生成，尤其在VSI-Bench的距离相关问题（Abs.Dist.和Rel.Dist.）上差距明显。深度图提供了更明确的空间关系线索。
渐进式训练 vs 直接端到端
直接端到端联合训练（跳过Stage 1和2的初始化）在所有基准上均劣于渐进式训练。原因在于：没有适当的初始化，生成头与理解骨干之间的特征空间差异导致模态干扰，语义和结构特征无法有效融合。
定性验证：深度生成质量对比
【图5｜深度生成可视化对比】 左列为输入RGB图像，中列为Qwen3-VL-SFT的视觉特征生成的深度图（细节模糊、结构不清），右列为GEM生成的深度图（高保真、细节丰富、空间关系准确）。这直观证明了生成式监督如何强制VLM编码精细的结构信息。
核心启示
1. 深度生成不是下游任务，而是预训练的核心目标：在VLM预训练阶段就引入深度生成，让视觉token天生携带三维结构信息，比下游”补课”更有效。
2. 渐进式训练是语义-结构融合的关键：直接端到端训练会导致模态干扰，三阶段渐进策略确保了语义表示与结构表示的有效对齐。
3. 生成式监督比判别式监督更能塑造空间感知：生成深度图迫使模型从2D像素中”想象”三维结构，这种主动推理过程比被动回答空间问题更能建立物理世界的内部模型。
4. 从”认识物体”到”感知空间”，是VLA走向真实世界的必经之路：仿真到真实的鸿沟，很大程度上源于VLA缺乏对三维空间的精确感知。GEM证明，在预训练阶段补上这一课，效果显著。
论文出处
本文内容整理自学术论文：《GEM: Generative Supervision Helps Embodied Intelligence》，仅作学术分享使用，版权归原作者及出版方所有。
• 论文作者：Ruowen Zhao, Bangguo Li, Zuyan Liu, Yinan Liang, Junliang Ye, Fangfu Liu, Diankun Wu, Zhengyi Wang, Xumin Yu, Yongming Rao, Han Hu, Jun Zhu
• 发表单位：清华大学、腾讯混元
• 论文链接：https://zhaorw02.github.io/GEM/
关注【具身智能制造】，每周拆解机器人与 AI 领域顶会，带你紧跟前沿技术～
