编者摘要：宾大 CIS6280 是目前全球少数独立开设、完整系统讲授世界模型的研究生课程；斯坦福、CMU、MIT 并无专门同名世界模型专业课，世界模型内容嵌入在强化学习、机器人、基础模型课程中。共性：均认同世界模型是学习环境动力学的预测模拟器，目标是支持智能体规划、想象推演、Sim-to-Real 迁移；覆盖经典 Dreamer、JEPA、视频生成、基于模型强化学习；都强调论文研读 + 科研项目作为核心考核，关注 OOD 泛化、模型漂移等核心痛点。
差异：宾大 CIS6280（Jiatao Gu）自成完整体系，从概率状态空间模型、表征学习、生成模型，延伸至视频 / 3D / 神经物理、机器人与 LLM 作为世界模型，打通感知 - 动力学 - 规划全链路，覆盖多模态与具身智能，作业与期末项目强制落地建模与评估。斯坦福（CS234/CS348K）视角偏向强化学习与图形渲染，侧重世界模型与传统仿真器的对比、决策 Transformer、规划理论，偏算法决策与图形系统视角。CMU（10423 等）立足机器人与交互式智能体，重点是动作条件视频预测、潜空间动力学、交互式世界模型，大量结合具身机器人与 VLA 任务，工程落地性强。MIT 以自监督学习、因果表征为根基，更偏理论思辨，探讨世界模型与 AGI 的底层关系，偏向基础原理研讨，实操编程任务偏少。
宾大课程最大特色：把 LLM、视频生成、3D 几何、神经物理统一归入世界模型框架，而其他三校多将世界模型视为 RL / 机器人 / 多模态的一个专题模块。四校都把评估与分布外泛化作为开放难题；宾大是唯一把世界模型作为主线完整开课的项目。
10 个关键问题问与答
Q1：什么是世界模型？A：世界模型是学习得到的环境动力学模型，输入当前状态 + 动作，预测下一时刻环境状态 / 观测；智能体可以在模型内部做想象推演、规划试错，降低真实环境交互成本。
Q2：宾大 CIS6280 和斯坦福 / CMU/MIT 课程最大区别？A：宾大是全球少有的专门以世界模型为主线的完整学期课程；其余三校没有独立 WM 专业课，仅作为嵌入专题，依附 RL、机器人或基础模型课程。
Q3：世界模型和传统物理仿真器有什么不同？A：传统仿真器依靠人工编写物理方程；学习型世界模型直接从观测数据学到动力学，更容易处理复杂真实世界，但存在预测漂移、不确定性问题。
Q4：JEPA、Dreamer 在四门课程里定位是否一致？A：基本一致，均作为表征学习 + 潜动力学的标杆；宾大扩展 JEPA 到视频 / 3D，CMU 更侧重 Dreamer 在机器人交互场景落地。
Q5：LLM 能否算作世界模型？A：四校共识：LLM 是隐式时序预测模型，但缺少物理空间、几何、精确状态转移，属于有限世界模型；宾大专门设一章讨论 LLM 作为世界模型的局限与改进方向。
Q6：世界模型的核心评估难点是什么？A：不是单帧生成质量，而是长时序推演一致性、动作条件可控性、OOD 泛化；推演误差随时间累积是最大痛点。
Q7：CMU 课程为什么特别强调交互式世界模型？A：CMU 聚焦机器人具身智能，世界模型必须接收动作作为条件，支持交互试错，而非单纯无条件视频生成，服务 VLA 机器人任务。
Q8：MIT 世界模型相关课程为什么实操作业很少？A：MIT 相关内容多为短期研讨课，定位是基础理论、自监督与 AGI 底层逻辑思辨，不是工程实践课。
Q9：自学优先选哪条路线？A：系统学习完整理论框架选宾大 CIS6280；强化学习视角选斯坦福 CS234；机器人落地选 CMU 材料；理论哲学思考选 MIT 自监督研讨资料。
Q10：世界模型当前最大开放问题？A：如何保证长时序预测的因果一致性、缩小仿真与真实世界 Sim-to-Real 鸿沟，以及如何统一 2D 视频、3D 几何、语言符号的表征空间。
附录：宾大 CIS‑6280 World Models（世界模型）课程总结（2026 秋季）
该课程由宾夕法尼亚大学 Jiatao Gu 主讲，并非单纯的强化学习课程，系统讲授世界模型：即学习得到的环境动力学表征与预测模型，服务感知、规划与决策；覆盖强化学习、视频 / 3D、多模态智能体、机器人等方向。
基础信息
- 授课时间
周二、周四 12:00‑13:29；教室 AGH 105A &105B；助教办公时间：周四 16:30‑17:30，AGH423。 - 授课团队
讲师 Jiatao Gu；3 位助教：Mutian Tong、Yong‑Hyun Park、Enxin Song、Xinyue Ai。 - 临时调课
因讲师出差，9.15、9.22 线上 Zoom 授课；9.17 暂定停课；另有秋假、COLM 会议、感恩节假期停课。 - 先修背景
需要 CIS5190 / CIS5200 或同等研究生机器学习基础。 - 课程构成
23 节正式讲座、期末项目汇报、期末考试，搭配作业与期末大项目。
课程大纲主题（授课顺序）
- 基础理论
世界模型概述；历史与概率形式化；仿真环境与轨迹采样；状态空间模型（卡尔曼滤波等）。 - 表征学习
表征学习 I、II，包含对比学习、JEPA 联合嵌入预测等内容。 - 生成模型基础
VAE/GAN；自回归模型；扩散与 Flow‑Matching；归一化流、自回归流。 - 序列世界模型 + 基于模型强化学习
序列生成世界模型；基于模型强化学习、规划、控制（MPC、CEM 等）。 - 视频世界模型
视频世界模型架构与滚动推演；交互、记忆、效率问题。 - 空间 / 3D 世界模型
几何与 3D 表征；4D 动力学、场景交互。 - 神经物理、机器人学习
可学习物理动力学仿真；机器人仿真控制、Sim‑to‑Real；视觉‑语言‑动作智能体。 - 大模型作为世界模型、推理模型、数字智能体
LLM 充当世界模型；时序推理、测试时计算；游戏 / GUI 多智能体数字代理。 - 评估与开放问题
世界模型的评价指标、鲁棒性、OOD、漂移、现存挑战。 - 期末环节
学生项目展示、课堂期末考试。
课程作业与期末项目
编程作业
-
Assignment1：9.10 发布，9.24 截止 -
Assignment2：9.30 发布，10.19 截止 -
Assignment3：10.21 发布，11.18 截止
期末大项目（四阶段）
学生自选领域（物理系统、视频 3D、机器人、语言数字智能体），研究某一类世界模型方法，明确状态、转移、动作接口与评价指标：
-
10‑14：项目提案（问题、领域、方法、评估方案） -
11‑16：中期检查点（初步系统、实验、风险） -
12‑01：课堂项目汇报 -
12‑14：报告 + 代码最终提交
课程资源
课程整理了大量参考资料，分为 4 大类：
- 观点论文 / 文章
经典 World Models 论文、LeCun《自主机器智能》、李飞飞从语言到世界、Richard Sutton 等文章。 - 教程与综述合集
CVPR 教程、Mila 世界模型研讨会、Awesome‑World‑Models 等。 - 讲座视频
Ilya Sutskever、黄仁勋、Yann LeCun 等相关主题访谈与报告。 - 代表性系统 Demo
DreamerV3、V‑JEPA2、Genie、DayDreamer、DINO‑WM 等前沿世界模型实现。
常见答疑要点
-
不是 RL 课：只讲授理解世界模型所必需的强化学习与控制知识，更多覆盖表征、生成、视频 3D、机器人、语言智能体。 -
日程：大的时间节点固定；阅读材料、课题顺序、特邀讲师可能变动，课件随学期逐步上线。 -
大项目：自选应用方向，评分细则、组队规则会在提案截止前发布。 -
遵守宾大学术诚信规范；Canvas 发布课件、作业、临时会议链接