
作者|郑玄
从马丁·斯科塞斯手绘《出租车司机》分镜开始,创作者始终面临一个核心痛点:如何将脑海中的画面高效传递给团队。如今,VAST 发布的开源项目 EdenLive 提供了新的解决方案——通过模型搭建简单场景与运镜,结合 AI 实时生成具有特定风格和细节的画面,实现“所见即所得”的交互式创作。
EdenLive 管线
EdenLive 是 VAST 「Project Eden」世界模型系列中的「实时生成式渲染器」。它不仅能为导演提供动画预演,还能帮助游戏开发者为简陋原型实时生成高质量画面,或对已有视频进行风格化重渲染(如卡通、油画风格)。
其核心理念在于:创作者确定场景布局与人物运动,由世界模型维护状态规则并呈现画面。作为 Project Eden 的阶段性成果,EdenLive 已上线模型开放平台 Reactor,并被 3D 资产编辑平台 Unbound Loop 接入,标志着 VAST 在世界模型商业化落地(G2M)上的重要尝试。
01
让想法变成可实时交互的画面
以拍摄恐怖戏为例,创作者只需用简单模型搭建场景、安排走位和运镜,并将参考视频、目标首帧及提示词输入 EdenLive。模型即可基于既定动作轨迹,实时生成具备具体材质、光线和画风的画面。若需调整人影位置或镜头速度,修改上游参数后生成结果会即时更新,极大提升了前期预览的效率。
在游戏领域,EdenLive 同样展现了潜力。配合 VAST 开源的智能体技能 EdenGolem(v0.1),开发者可通过文字描述快速生成可玩的 3D 灰盒游戏。EdenLive 随后根据游戏画面、事件描述及提示词,实时渲染出最终视觉效果,无需为特定游戏设计专用接口。
格斗游戏 Demo
在展示的格斗游戏 Demo 中,玩家操作角色移动、攻击,画面中的动作与场景并非来自预设的美术资产,而是由模型在运行时实时生成。这种模式允许开发者先专注于玩法逻辑,再由 AI 承担视觉表现,有望降低游戏制作门槛,让小型团队也能拥有高质量的视觉效果。
此外,EdenLive 还支持视频重渲染(如将实拍转为像素风)及具身智能应用(如替换机械臂视角)。据官方数据,EdenLive 5B 模型可在单张 NVIDIA RTX 5090 上以超过 24 FPS 的速度生成 720P 画面,支持分钟级连续生成,使实时观察连续动作成为可能。
02
解耦状态与渲染:让交互系统维护世界,让模型呈现世界
当画面随操作实时生成时,如何确保逻辑一致性成为关键。例如在潜水艇寻宝或格斗游戏中,任务完成判定、血量扣除等必须遵循严格规则,不能完全依赖模型的预测。
潜水艇寻宝 Demo
EdenLive 采用「解耦状态与渲染」的技术路线,将系统分为三层:持续演化的世界状态(由游戏引擎或程序负责)、状态到画面的接口、以及生成式渲染器(EdenLive 负责后两层)。
以潜水艇为例,游戏程序先计算移动、碰撞及任务状态,输出参考画面;EdenLive 则依据参考、首帧和提示词生成视觉效果。这种方式确保了宝箱位置、任务状态等关键信息由独立记录维护,模型无需从视频中猜测世界状态,从而将算力集中在画面生成上。
为解决不同参考源(如灰盒模型与实拍视频)的结构与外观差异,EdenLive 使用微调的视觉编码器,将参考映射至同一特征空间:保留布局和运动信息,而将外观风格交由目标首帧和提示词控制。结合逐块流式生成技术,实现了上游模拟、参考编码与生成的流水线并行,保障了实时交互的流畅性。
03
世界模型需要走出 Demo,进入真实工作流
EdenLive 的价值不仅在于展示技术,更在于探索创作者的真实需求。无论是导演比较视觉风格、独立开发者高效嵌入玩法,还是视频创作者尝试新表达,世界模型必须解决具体问题才能走向应用。
通过开源模型权重、推理代码及配套工具,VAST 希望开发者在实际使用中反馈问题,如响应速度、可控性等,从而推动技术迭代。这种“落地驱动研发”的模式,有助于明确哪些能力能真正节省时间,哪些仅是噱头。
依托 VAST 在 AI 3D 领域的积累,Project Eden 旨在打造下一代交互式内容创作的底层引擎。随着 V·STAR 计划吸引全球青年技术人才加入,EdenLive 正逐步从演示走向工具化。其最终愿景,是让越来越多的创作者能够通过低门槛的方式,自由构建和交互于可生成的数字世界中。

