作者丨马晓宁 张驰
编辑丨岑 峰

一个17岁的年轻人只需数小时练习即可学会驾驶,而拥有数百万小时训练数据的自动驾驶系统至今仍未实现L5级自动驾驶。为何人类能迅速掌握新技能,机器却需海量数据反复训练?
在CoRL 2026的一场专题演讲中,图灵奖得主、纽约大学教授杨立昆(Yann LeCun)借此重新探讨了智能的本质。他指出,智能并非知识的积累,而是面对未知时快速寻找解决方案的能力。人类之所以适应力强,源于从婴儿时期便通过观察和互动掌握了物理世界的基本规律,而当前AI系统仍缺乏这种基础理解。
在题为《World Models: Enabling the Next AI Revolution》的演讲中,杨立昆阐述了下一代AI架构的核心设想:机器不应仅根据输入生成答案,而应能预测行动后果,并通过搜索与优化进行决策。实现这一目标的关键在于“世界模型”——它不是生成逼真视频的模拟器,而是学习有助于行动的抽象规律。
从JEPA到V-JEPA 2.1,再到用于分层规划的H-JEPA,杨立昆展示了最新技术路线,并强调要实现人类水平的AI,不能仅寄托于大语言模型(LLM)。
01 重新定义智能:适应能力优于知识积累
杨立昆指出,自大语言模型兴起以来,人们常误以为智能等同于陈述性知识的积累。然而,真正的智能是面对未经训练的新问题时,能够找到新的解决办法。正如发展心理学家让·皮亚杰所言:“智能不是你知道什么,而是当你不知道时,你会做什么。”
衡量智能的标准不应是系统在固定任务上的表现,而是其利用少量经验迅速解决新任务的能力。17岁少年能快速学会开车,并非因为只学了几小时,而是此前17年的生活让他积累了大量关于世界运行规律的知识。
婴儿如何学习世界
人类在生命最初几个月主要通过观察进行自监督学习,逐渐形成物体恒常性、自然类别区分以及直觉物理学等基本概念。杨立昆认为,AI系统应重现这种对世界的学习能力。当智能体已掌握现实世界的基本运行规律,完成新任务所需的训练将大幅减少。
因此,机器人研究的目标不应仅是增加特定任务的训练数据,而应探索如何通过任务无关的训练,掌握可迁移的能力。此外,杨立昆指出AGI(通用人工智能)这一概念本身意义有限,因为即便是人类智能也具有高度的专业化特点。
02 核心架构:预测行动后果而非直接输出动作
智能系统应具备两种推理方式:System 1(反应式策略,如本能动作)和System 2(需要思考的复杂任务规划)。杨立昆强调,真正的智能需要通过搜索和优化来寻找满足目标的行动,而非简单的前馈传播。
世界模型在决策中的作用
在该架构中,世界模型的作用是:给定当前状态和假设行动,预测行动后的世界状态。系统随后通过目标函数判断该行动是否有效,并优化选择最佳行动。这一过程发生在推理阶段,旨在让系统在内部进行规划,想象不同行动的结果,从而处理未曾专门训练过的新任务。
世界模型的核心不是重建像素或生成视频,而是预测行动带来的状态变化。
多步规划与安全约束
这种架构类似于模型预测控制(MPC)。系统可以预测一连串行动的结果,并引入两类目标函数:
- Guardrail Objectives(安全约束):通用且必须遵守,用于排除可能造成伤害的行动。
- Task Objective(任务目标):针对具体任务进行优化。
若世界模型足够准确,系统可提前预判危险,确保自主行动的安全性。
分层世界模型的重要性
世界模型应是分层的,以应对不同时间尺度和抽象程度的需求:
- 低层模型:负责短时间范围、高细节的动作修正(如关节控制)。
- 高层模型:负责长时间范围、抽象的状态预测(如路线规划)。
高层为低层提供子目标,低层细化执行。这种分层结构能显著提高规划效率。
03 技术路线:为何放弃生成式视频预测?
杨立昆明确表示,世界模型不应等同于视频生成模型或数字孪生。现实世界中大量信息(如视频中未出现的观众面孔)是不可预测的,强行在像素层面预测未来会导致模型“凭空编造”,而非真正理解世界。
JEPA:在抽象表征空间预测
解决方案是联合嵌入预测架构(JEPA)。与生成式模型直接预测原始数据不同,JEPA预测的是经过编码器处理后的抽象表征。
训练JEPA的核心挑战是防止“表征坍塌”。为此,系统需在两个目标间取得平衡:
- 最大化表征中的信息量。
- 最小化预测误差。
这促使模型保留可预测的信息(如物体运动规律),舍弃不可预测的细节(如树叶的随机摆动)。
SIGReg与信息最大化
为解决信息量衡量难题,杨立昆介绍了SIGReg(Sketched Isotropic Gaussian Regularization)。该方法通过将样本表征投影并约束其分布接近高斯分布,从而提高表征的信息丰富度。尽管真实世界变量未必完全服从高斯分布,但该方法在初步任务中已展现出潜力。
V-JEPA 2.1:自监督学习世界知识
V-JEPA 2.1展示了通过完全自监督视频学习,模型能够掌握深度、物体前后关系等空间信息。这些信息原本被认为需要监督标签才能获得,但在预测视频变化的过程中被模型自然习得。
H-JEPA:分层规划的实现
H-JEPA引入了多层级预测机制。实验显示,更高层级的表征空间能形成更平滑的价值函数,使得长期规划更加容易。高层确定大致方向,低层负责具体执行,有效解决了复杂任务中的搜索空间爆炸问题。
04 给AI研究者的四点建议
演讲最后,杨立昆为致力于实现人类水平AI的研究者提出了明确的方向转变:
- 放弃生成式模型,转向联合嵌入架构(JEPA):关注支持预测的抽象表征,而非数据生成。
- 放弃概率模型,转向基于能量的模型(Energy-Based Models):提供更合适的系统构建框架。
- 放弃对比学习方法,转向正则化方法:如VICReg、Barlow Twins及SIGReg,以避免表征坍塌。
- 放弃强化学习,转向模型预测控制(MPC):对于理解物理世界并执行行动的智能体,MPC比RL更具优势。
杨立昆再次强调:如果对实现人类水平的AI感兴趣,就不要把研究重点放在LLM上。我们需要的是能够理解现实世界、预测行动后果的世界模型。

