你有没有想过，为什么让机器人"自己想清楚怎么走"，比让它在棋盘上赢一局棋难得多？
下棋，规则清晰、状态一目了然。可让一个机器蚂蚁穿过迷宫、或者让机械臂把杯子摆好，问题就来了——未来的路很长，每一步都充满不确定性。如果 AI 必须从第一步一路细细推演到终点，误差会像滚雪球一样越滚越大；而且"走一步看一步"的搜索空间，会随着时间指数级爆炸。
这不是某个工程师的 bug，而是当前"世界模型"（World Model）方法的一个老毛病：所有思考都挤在同一个时间尺度、同一个抽象层级上。
2026 年 10 月，Yann LeCun（杨立昆）团队抛出一篇新论文 H-JEPA，给出一种很"拟人"的解法：让 AI 像人脑一样，在不同时间尺度、不同抽象层级上分层思考。效果相当惊人——在一个迷宫导航任务里，规划成功率从 18% 直接拉到 73%，还更省算力。
这篇文章，我用大白话带你读懂它。
什么是"世界模型"和"JEPA"
要理解 H-JEPA，得先认识两个词。
世界模型，你可以理解为 AI 脑子里的"沙盘"。它不直接操控真实世界，而是先在内部推演："如果我往左走，接下来会发生什么？"推演清楚了，再决定怎么动。能内部推演的 AI，就不需要每试一次错就撞一次墙。
JEPA（Joint-Embedding Predictive Architecture，联合嵌入预测架构）是 LeCun 近几年力推的一套思路。它的特别之处在于：不预测像素，只预测"意思"。
打个比方。让你闭眼想象"下一步棋的局面"，你脑海里不会浮现一张高清棋盘照片，而是知道"车被将、马在卧槽"这种抽象状态。JEPA 干的就是这个：它把画面压缩成一个向量（一串数字，代表画面的核心含义），然后预测"下一个画面的向量"长什么样，而不是去生成下一帧像素。
好处很明显：不用费劲去"画"出逼真的未来画面（那又慢又容易跑偏），只需要抓住关键语义。最近的动作条件 JEPA（比如论文里的 LeWM 基线）已经能在学好的"意思空间"里直接做零样本规划——不用奖励、不用像素重建。
但正如开头说的，这些模型都是在"一层"空间里预测和规划，时间尺度也是单一的长步推演。瓶颈就卡在这儿。
H-JEPA 的核心：给世界模型装上"时间金字塔"
H-JEPA 里的"H"是 Hierarchical（层次化）。它的想法朴素却深刻：
别让一个模型包揽所有时间尺度。让高层负责"想得远、想得粗"，让低层负责"想得近、想得细"。
具体来说，H-JEPA 训练出一组 JEPA，一层叠一层：
-
• 第 1 层（底层）：每一步预测接下来一小段（比如 5 个环境步），保留最细的信息（连蚂蚁的腿怎么摆都记着）。 -
• 第 2 层：每一步跨越更长时间（比如 10 个环境步），更抽象——它记不住腿的姿态，但记得住"蚂蚁大致在哪个位置、迷宫长什么样"。 -
• 第 3 层（高层）：每一步跨得更远（比如 20 个环境步），最抽象，只抓最慢、最可预测的关键状态。
最有意思的发现是：当数据里不同因素变化快慢不同时，高层会自动丢掉"快但不可预测"的细节，只留住"慢且可预测"的状态。
论文里有个很直观的例子：
-
• 在机器蚂蚁迷宫里，越高层，蚂蚁腿的摆动姿态越模糊，但位置信息始终清晰——因为腿抖得太快、跨长时段根本预测不准，而位置是缓慢漂移的，好预测。 -
• 在一个"有干扰物"的房间任务里，那个乱跑的干扰物体在高层表示里逐渐淡出，而你要操控的主角始终在线。
这跟人脑惊人的相似：大脑皮层的不同区域，本身就构成了一个"内在时间尺度"的层级，越往上处理的变化越慢。H-JEPA 用数学训练，自发学出了这套结构。
而且整个系统是端到端一起训练的——高层的梯度会回流到底层编码器，逼着每一层只保留"在自己这个时间尺度上能预测好"的特征。没有奖励信号，也没有像素重建损失。
它怎么用：自上而下"拆解目标"
训练好这套层级后，规划是自上而下进行的，像极了我们出门前的心理活动：
-
1. 高层先想："我要从北京到上海，大致方向对了就行。"它在最抽象的空间里，规划出一条通往最终目标的粗路径。 -
2. 高层预测出的第一个状态，变成子目标，交给中层："你负责先到济南。" -
3. 中层再把自己的预测拆成更细的子目标，交给底层："你负责走这段高速。" -
4. 最底层最终输出原始动作：踩油门、打方向盘。
每一层只需要操心自己那一段，不用从头细推到尾。论文把这套流程叫"top-down hierarchical planning"。
数字说话：效果到底有多好
论文在 4 个模拟环境（导航 + 机械臂操作）里做了实验，对比扁平的 JEPA 基线 LeWM，以及另一个"分层但共用一个潜空间"的方法 HWM。
最亮眼的结果在 Visual AntMaze（视觉蚂蚁迷宫）：
-
• 扁平 LeWM 成功率：18% -
• 两层 H-JEPA：约 39% -
• 三层 H-JEPA：73%
而且，三层模型不是在"堆算力"换来的——它用更少的规划算力（论文用 TFLOPs/回合衡量）就达到了更高成功率，画出了更优的"成功率—算力"帕累托前沿。
值得注意的是，并非"层数越多越好"。在 Push-T（推 T 形方块）任务上，三层反而崩了。论文坦率指出原因：数据不够。三层模型每个 epoch 只能看到 LeWM 58% 的训练样本，四层更是只剩 14%——短剧集数据喂不饱更深的层级。这种诚实的消融，反而增加了结果的可信度。
它凭什么有效？两个独立机制
论文很严谨地把"为什么有效"拆成了两件事，并分别验证：
机制一：更抽象的目标空间，让"距离目标还有多远"更好算。
在迷宫里，一个好的代价函数应该"贴着墙、沿着走廊"平滑变化。但论文发现，在底层空间里，离目标远一点的状态，代价几乎是常数，梯度规划器"看不见"方向，只有当快到目标时才突然有信号。而高层空间里，代价沿着走廊平滑上升，给规划器更清晰的"导航梯度"。
光是把目标代价换成高层空间来算（底层动力学不变），AntMaze 上的成功率就已经全面超过原生底层规划，甚至超过单独训练的 LeWM 基线。也就是说，光有"更抽象的尺子"，规划就更准了。
机制二：时间分解，把长任务切成容易的子问题。
当低层只跟踪高层计划的前缀（一小段）时，每个候选动作需要的连续推演步数变少，搜索空间被压短。论文还发现，扁平规划器在沿着专家轨迹走时，其"到最终目标的距离"甚至会中途变高或停滞；而"到下一个子目标的距离"却能单调下降。
换句话：盯着一个遥远的终极目标容易迷失，盯着一个近处的子目标反而步步走对。
两个机制互补：一个负责"看得清方向"，一个负责"走得稳"。
走向真实机器人：DROID 上的验证
模拟环境终究"干净"。论文更进一步，拿 DROID——一个真实遥操作机械臂视频数据集——来考它。这里的难点是：每一段视频的场景、灯光、被抓的物体全都不一样。
这就触发了一个新陷阱：慢特征坍缩。面对变化多端的背景，如果只做"预测"任务，编码器会偷懒——把"好预测的背景身份"牢牢记住，把"只有靠动作才能预测的移动机械臂"丢掉了。等于 AI 学会了"盯着背景发呆"，把主角忘了。
解决办法是加一个逆动力学（IDM）损失：逼模型从"前后两帧的状态"反推出"中间发生了什么动作"。这一项强制编码器必须保留和动作相关的信息，坍缩就被治好了。
加上 IDM 后，在 DROID 上：
-
• 单层 LeWM + IDM 已经是个强基线； -
• 再叠一层 H-JEPA，以更低的规划算力进一步提升了离线规划保真度（用 Fréchet 距离衡量机械臂末端轨迹和专业示范的接近程度）。
这说明论文的两个"杠杆"——表征分层 + 时间分解——在杂乱的真实场景里同样成立。
这意味着什么？LeCun 的路线与赛道
把视角拉远一点，这篇论文是 LeCun 长期主张的一次具体落地：世界模型不应该是"生成式"的（去画未来画面），而应该是"预测式"的（去预测未来状态的意义）。
这跟当下另一波"用视频生成模型当世界模拟器"的路线（如 Genie 等）形成鲜明对照。H-JEPA 证明：不重建像素、不依赖奖励，仅靠"在抽象空间里分层预测"，就能在视觉规划上取得扎实进展，还更省算力。
对机器人和自动驾驶来说，这一点尤其关键——这类场景容错低、数据贵，能在"脑内沙盘"里高效、分层地推演，比动辄生成一段高清视频要务实得多。
不过也要清醒：论文在结论里明确说，这些增益还没在真实物理机器人的闭环控制上验证过；而且方法目前依赖"动作标注"的数据。下一步，团队想尝试从无动作视频里学层级、把高层潜变量和语言对齐（这样就能用"把杯子放桌上"这种话来定目标），以及用变长时段代替固定步长。
小结
H-JEPA 做了一件很符合直觉的事：让 AI 像人脑一样，把"想得远"和"想得细"分开。
-
• 它训练出一组层级化的 JEPA，高层跨长时段、更抽象，自动丢掉快而不可预测的噪声，留住慢而可预测的本质。 -
• 规划时自上而下拆解目标，高层定方向、低层出动作。 -
• 在蚂蚁迷宫里把成功率从 18% 拉到 73%，还更省算力；在真实机器人视频 DROID 上同样成立。 -
• 它有效，靠的是"更抽象的目标尺子"和"把长任务切成子目标"两件事的叠加。
世界模型这条路还长，但 H-JEPA 让我们离"AI 能在脑内高效推演、再稳稳动手"又近了一步。
END
#杨立昆 #JEPA #世界模型 #ai #机器人
如果这篇文章对你有帮助，欢迎点赞、在看、转发