2024年，北京大学助理教授袁粒及其团队发起Open-Sora Plan，旨在将视频生成能力转化为开放的研究项目。面对高校在算力和数据资源上与头部企业的巨大差距，袁粒并未将“追平Sora效果”作为首要目标，而是致力于搭建开源架构、公开代码与训练方法，为企业开发提供起点，为学生验证想法提供平台。
袁粒认为，即使模型未完全训成，将试错经验写入技术报告也能减少后来者的重复摸索。这种“前九十米探索”的工作，对于推动领域发展具有不可替代的价值。
以下是DeepTech与袁粒的深度对话，探讨从视觉理解到多模态生成，再到AI for Science的学术路径与思考。
研究主线：从理解世界到预测生成
DeepTech：你的研究从计算机视觉延伸至多模态和AI for Science，这条路线是预先规划的吗？
袁粒：主线是在研究中逐渐形成的。我的核心目标是让机器形成可检验的世界理解，并将其转化为预测和生成能力，最终迈向行动。最初从事计算机视觉旨在让模型理解视觉信息，随后发现需通过“生成”来具体检验理解的深度，从而自然延伸至多模态领域。
2018年，受BERT和GPT启发，我尝试将Transformer应用于视觉处理，但因当时实验室算力和数据限制未能跑通。这段经历促使我前往哈佛大学参与视觉神经科学研究，试图从脑科学中寻找启发，探究神经网络泛化能力不足的底层原因。
多模态挑战：统一时空表征与物理因果
DeepTech：在Video-LLaVA等项目中，你们真正想解决的核心问题是什么？
袁粒：早期大模型分别处理图像（空间信息）和视频（时空信息），二者内部表征差异巨大。我们的目标是先对齐图像和视频信息，再映射至语言模型可处理的空间。例如，模型需同时理解物体、容器及动作的前后关系。实验表明，统一的视觉表征能促进图像与视频学习的相互促进，为理解物理世界奠定基础。
DeepTech：生成效果好是否等同于理解得好？为何强调统一理解与生成模型？
袁粒：理解与生成并非简单对应。理解发生在抽象空间，生成需补充细节回归具体，易产生信息偏差；反之，模型能生成逼真画面，却未必能精准计算运动轨迹或解释物理因果。
目前主流做法是通过智能体连接理解与生成模型，但这可能导致信息传递损耗。例如，环境摩擦系数变化时，理解模型难以无损地将条件传递给生成模型。我主张先在单个模型内实现理解与生成的统一，使其具备完整的物理世界认知能力，再在此基础上进行多智能体协作。
高校科研定位：开源架构与探索真问题
DeepTech：在资源有限的情况下，高校团队发起Open-Sora Plan的意义何在？
袁粒：高校的优势在于静心思考底层问题并探索新架构。Open-Sora Plan虽由高校发起，但得到了企业算力与数据支持。我们不追求立即达到Sora的效果，而是通过开源架构降低信息壁垒，让学术界有系统验证想法，让企业有借鉴起点，并通过技术报告分享避坑经验。
DeepTech：接下来高校团队的重点方向是什么？Helios项目解决了什么问题？
袁粒：针对现有模型分段生成的局限，我们探索流式生成架构（如Helios项目）。流式生成需解决历史信息保留、计算量控制及误差累积等问题。关键在于保留主体身份、场景布局及逻辑交互关系，而非仅关注画质。这种架构探索有助于未来向世界模型和可交互方向发展。
开源让我们接触到真实问题。例如在AI科研智能体研发中，通过与不同领域用户交流，我们发现化学与生物流程差异巨大，这推动了我们对通用性与专用性平衡的重新思考。
AI for Science：从干实验自动化到干湿闭环
DeepTech：将模型引入真实科研过程面临哪些困难？
袁粒：真实科研任务具有连续性、依赖性和反复性。OpenAI4S项目以代码为基本单位，在持续运行的环境中执行，保留中间对象并记录执行过程，以便追溯和复用。然而，跨进程保存、环境重建以及硬件设备差异仍是难点。
目前的瓶颈在于如何从计算机内的“干实验”自动化，走向与真实设备连接的“干湿闭环”。这需要学术界与产业界共同解决设备打通的问题。
DeepTech：如何处理通用目标与具体任务之间的关系？
袁粒：通用性是长远目标，但切入点需具体。我们从特定领域技能模块入手，通过开源社区丰富模块库，结合企业资源逐步扩大适用范围，实现从专用到通用的过渡。
结语：功成不必在我，功成必定有我
DeepTech：如果最终突破由其他团队完成，你会介意吗？
袁粒：科研的首要原则是解决真问题。高校团队提出初始方案，通过开源与合作推动领域前进，其价值不因最终完成者而异。正如大模型的发展依托于早年学术界算法与脑科学的积累，最后面向产品的十米可能由企业冲刺，但前九十米的探索同样意义非凡。秉持“功成不必在我，但功成必定有我”的态度，每一份探索都是领域发展的基石。
参考资料
https://yuanli2333.github.io/
https://ai4s.pkusz.edu.cn/info/1145/1258.htm
https://arxiv.org/abs/2101.11986
https://arxiv.org/abs/2311.10122
https://github.com/PKU-YuanGroup/Open-Sora-Plan
https://arxiv.org/abs/2603.04379
https://github.com/PKU-YuanGroup/OpenAI4S
运营/排版：何晨龙
注：封面/首图由 AI 辅助生成