VAST世界模型迎来新突破,实时生成式渲染系统EdenLive正式发布并开源。 该系统首次实现在实时生成的前提下,支持任意参考输入、任意画风转换及长时连续运行。通过简化场景或参考视频,配合目标首帧与提示词,EdenLive能沿袭参考布局与运动,持续生成写实、二次元等精细画面。在单张消费级显卡Nvidia RTX 5090、720P条件下,其5B模型生成
速度超24FPS,端到端延迟为百毫秒级,支持分钟级连续生成。
核心功能:多源输入与实时风格化
EdenLive的核心价值在于为简化场景和交互内容提供高
质量实时渲染,底层逻辑与状态由上游交互系统维护。
交互式游戏预览
EdenLive可接入2D及3D场景,特别适用于场景漫游、推箱子等交互频率适中的玩法。以岩浆闯关为例,角色使用冷冻枪制造落脚点并跳跃前进,系统能实时生成对应精细画面。双人对打Demo则展示了角色动作、血条及回合计时等游戏状态的精准配合。凭借百毫秒级的低延迟和分钟级连续生成能力,系统能确保操作反馈的即时性与视觉连贯性。
场景与动画预览
在场景布局和运镜确定的基础上,EdenLive支持快速切换美术风格。例如,将简单的雪地行车模型转化为具有写实车身纹理、积雪质感及真实光影的画面;或让“鹈鹕骑自行车”等创意场景呈现出生动的羽毛细节与环境质感。创作者可利用同一套布局生成不同风格版本,辅助概念设计与决策。
视频重渲染与换皮
系统支持对已有视频进行实时重渲染,替换角色形象、画面内容及整体风格。例如,将真人动作转换为保持姿态一致的卡通角色,类似虚拟主播形象切换;或将实拍房屋转换为线条柔和的手绘动画风格,保留原有建筑结构的同时重构视觉表现。
具身数据增强
EdenLive可将真实人类操作画面转换为机器人视角,修改第一视角视频中的物体外观。例如,将人手清洁台面的动作替换为机械手,并改变抹布颜色;或将推车扶手调整为金属质感。这种能力有助于扩展具身智能研究的视频样本多样性。
技术路线:解耦世界状态与视觉渲染
EdenLive采用“解耦世界状态与视觉渲染”的技术架构,即分离世界运行规则与画面呈现过程。
在完整管线中,简化场景或参考视频提供布局与运动信息,目标首帧和提示词指定外观细节。上游交互系统负责游戏逻辑与状态更新,EdenLive则据此持续输出精细画面。这一设计延续了VAST今年6月发布的Project Eden核心理念,比行业共识提前约3-4个月确立了该路线。 实现这一架构依赖三层核心积累: 1. **数据积累**:建立覆盖2D/3D简化场景、引擎渲染及真实视频的成对数据管线,确保场景布局、镜头运动与物体位置的对齐。 2. **跨领域协作**:整合3D结构处理、视频生成与系统工程团队,协同解决画面质量、推理速度与动作贴合度的平衡问题。 3. **持续研发**:基于三层架构(结构化状态、状态观测接口、生成式神经渲染)持续优化模型,确立技术壁垒。
愿景:构建可交互的开放世界
EdenLive结合了3D资产的结构化优势与视频生成的视觉表现力,旨在降低创作门槛。VAST利用既有3D能力从视频中提取深度、相机位姿等结构信息,并通过游戏引擎获取状态与渲染画面的对应关系,逐步完善世界模型所需的数据基础。 这一路线让用户能够从生成资产、搭建场景到加入交互规则,最终赋予内容多样化的视觉表现,践行“让人人都能自由创造并体验可交互世界”的愿景。官方同步开源了Game Prototype Turbo
工具,支持用户快速生成可游玩的游戏原型,形成从逻辑到视觉的完整闭环。 目前,EdenLive在高频激烈交互、多角色身份保持及小物体精细控制方面仍有提升空间。VAST已公开模型权重、推理代码、技术
报告及Demo,供开发者体验与研究。
- 代码:https://github.com/VAST-AI-Research/EdenLive
- 项目主页:https://vast-eden.ai/?p=edenlive
- 技术报告:https://assets.vast-eden.ai/assets/edenlive/EdenLive-tech-report.pdf
- 开放权重:https://huggingface.co/VAST-AI/EdenLive