作者丨幸丽娟
编辑丨岑峰
2026 年 7 月 7 日，ICML 2026 正会首日，AMI Labs 联合创始人兼首席研究创新官、香港科技大学讲座教授冯雁（Pascale Fung）发表大会首个特邀演讲。作为与 Yann LeCun 共同推动 JEPA 世界模型发展的核心学者，她在题为《Towards AI Agents in the Real World》的演讲中，系统阐述了世界模型对 AI 从数字空间迈向物理世界的关键作用，对比了 JEPA 与生成式路线的本质差异，并分享了团队在自监督视觉表征、机器人规划及可穿戴设备领域的最新突破。
冯雁指出，未来物理世界 AI 主要分为两类：一是嵌入智能眼镜等设备的“主动式辅助智能体”，共享人类第一人称视角，负责过程规划与实时指导；二是部署于自动驾驶、家务机器人的“执行智能体”，需完成从语义指令到电机动作的分层规划。两者的核心能力底座均为对物理世界演化的预测能力。这种预测要求模型内化因果推理框架，而非单纯识别静态图像或背诵文本。
针对当前主流的生成式世界模型（如 Cosmos、Genie）与 JEPA 世界模型，冯雁强调：前者追求像素级完美生成，后者追求因果正确性。结果显示，JEPA 模型参数量更小、推理更快、抗噪性更强，在物理世界落地场景中展现出显著的结构性优势。依托此技术脉络，冯雁与 LeCun 团队已推出 V-JEPA、LeWorldModel 及 VL-JEPA 等一系列成果，并通过开源数据集与学术挑战赛推动生态建设。
AI 智能体迈向现实世界，需要世界模型
冯雁以姆巴佩世界杯进球为例，引入“世界模型”概念：即用于决策的下一步动作预测。从球员的第一人称视角看，其不断扫描局势、划定空间并做出切入或传球决策，这一过程依赖于对物理环境演化的预判。
AI 智能体要应用于真实世界，同样需要世界模型。冯雁重点介绍了两类应用场景：
可穿戴设备上的辅助智能体
此类智能体（如智能眼镜中的 AI）拥有与人类用户共享的自我中心视角，能“看到我所见，听到我所闻”。其核心功能是协助人类执行动作，包括运动指导、语言学习、物理导航及认知任务解决。
智能体通过输出数字动作与现实交互，例如指导用户操作售票机或直接代为购票。为实现高效协助，它需具备过程规划（Procedural Planning）能力，将复杂任务分解为步骤指导用户；同时需拥有长期和情景记忆，以区分新老场景，提供个性化服务。此外，它还需具备主动性，能在无指令情况下推断用户目标并提前介入。
自主系统中的执行智能体
此类智能体服务于自动驾驶、无人机及机器人等系统，需在物理环境中感知并执行物理动作。作为系统的“大脑”，它利用世界模型对环境建模、规划并下达指令。
机器人需执行分层规划（hierarchical planning），将“打扫房间”等高层指令分解为机械臂的微细动作，并结合关联记忆理解上下文。这要求模型具备极强的物理常识与动态适应能力。
为什么大语言模型不够用？
为何不能直接使用大语言模型（LLMs）处理物理世界任务？冯雁指出，LLM 基于文本训练，属于“二手”学习世界模型，无法预测重力、质量等真实物理力。其优化目标是语言流畅度而非因果推理，导致学习效率低且容易产生“幻觉”。
在文本中，幻觉或许无害；但在物理机器人上，幻觉可能导致碰撞等严重后果。多项基准测试数据佐证了 LLM 在物理推理上的短板：
- DeepPhy：评估物理推理能力，人类得分 64.7%，而 Claude、Gemini Pro 等通用大模型仅 35%-41%，略高于随机猜测。
- IntPhys 2：测试直觉物理理解，人类近乎完美，生成式模型得分低于 55.6%。
- PhysBench：评估多模态物理理解，人类得分 95.9%，VLM 最佳表现不足 52%。
- PAI-Bench：测试物理常识与时空推理，人类得分 93.2%，VLM 约 65%。
- WorldPrediction：评估长时程过程规划，人类近乎完美，VLM 最高仅 50%。
结论明确：LLM 和 VLM 虽习得物理词汇，却未真正理解物理世界。面对场景泛化、实时动力学及摩擦约束等现实问题，它们存在显著的“落地差距（Grounding Gap）”。
JEPA 世界模型 VS 生成式世界模型
Yann LeCun 提出的“先进机器智能”架构包含感知、世界模型、规划与记忆四大模块。针对机器人智能体，传统方法依赖海量数据进行模仿学习，但缺乏零样本学习能力且环境适应性差。
设计哲学的根本分歧
生成式世界模型（如 Cosmos）视世界建模为视频生成任务，认为 AI 必须能完整生成每个像素才能理解世界。其输出为详细像素流，虽能模拟视觉细节，但计算成本高且易受噪声干扰。
JEPA（联合嵌入预测架构）则采用表征学习路线。它不预测下一帧像素，而是预测未来状态和动作的抽象表示（Embeddings），舍弃无关细节。其设计哲学是：预测重要信息，忽略不重要信息，追求因果正确性而非像素完美。
JEPA 将上下文与目标编码至潜空间，直接在抽象层面进行规划与推理。这种压缩表征使其能够高效查询未来状态，无需实际“观看”所有细节，从而在鲁棒性与效率上远超生成式模型。
JEPA 世界模型相关研究进展
冯雁团队沿 JEPA 脉络取得多项标志性成果：
V-JEPA 与机器人规划
V-JEPA在总计 465 年的视频数据上进行自监督训练，预测掩码嵌入，在外观与运动特征提取上达到 SOTA，且模型更小、更快、更鲁棒。V-JEPA 2进一步应用于机器人规划，能在嵌入空间中预测机械臂运动轨迹，实现高效的过程规划。
LeWorldModel：端到端稳定训练
AMI Labs 与 NYU 合作的LeWorldModel是首个实现端到端稳定训练的 JEPA 模型。它直接从原始像素训练，仅用两种损失项即可实现高效的模型预测控制（MPC），相关数据与权重已开源。
VL-JEPA：面向可穿戴设备的视觉语言模型
针对可穿戴设备对低功耗、实时性及上下文感知的严苛要求，团队提出了VL-JEPA（Vision-Language JEPA）。该模型不在像素空间生成，而是在语言空间进行世界模型建模，输入输出均为语言描述的动作与状态。
VL-JEPA 基于 V-JEPA 2 编码器，实现了开放词汇的动作与状态跟踪，并在 CVPR 2026 EgoVis 挑战赛中夺冠。其核心优势包括：
- 高效实时：非自回归架构，无生成延迟，可实时跟踪人类动作。
- 零样本能力：支持零样本动作跟踪与视频理解。
- 选择性解码：仅在有意义事件发生时解码，解码操作减少约 2.85 倍，显著节能。
- 性能优越：在参数量减少 50% 的情况下，性能超越传统 VLM。
此外，团队发布了包含 1.47 亿个层次化动作的Action-100M数据集，并推出了主动过程协助基准，旨在推动下一代可穿戴 AI 的发展。冯雁还宣布将于 ECCV 2026 举办可穿戴 AI 研讨会及相关挑战赛。
现实世界中智能体的伦理安全问题
最后，冯雁强调了现实世界智能体的安全性挑战。由于可穿戴设备与机器人始终开启传感器，涉及大量个人隐私及旁观者数据，且拟人化交互可能引发过度信任与情感依赖。因此，必须在模型设计中平衡用户参与度与防操纵机制，建立行为护栏以确保技术向善。
