实时生成式渲染:VAST开源EdenLive,让AI跟随玩家操作即时“造景”
任意视觉参考,交互中实时重绘
- 参考视频:决定场景布局、镜头运动、物体轨迹及事件时间线;
- 目标首帧:确定主体、材质、配色和画风;
- 文本提示词:补充风格细节,支持交互中动态追加描述。
性能突破:消费级显卡实现实时高清生成
应用场景:从游戏开发到具身数据增强
架构解析:解耦状态与渲染,确立世界模型新范式
- 世界状态层:由上游交互系统维护,记录物体位置、属性、规则及动作后果;
- 接口层:将状态转换为视角下的布局、几何与事件约束;
- 生成式渲染层:EdenLive所在层级,根据约束生成高保真画面。
行业意义:从演示走向可用工作流
详细项目信息:
主页:https://vast-eden.ai/?p=edenlive
代码:https://github.com/VAST-AI-Research/EdenLive
模型权重:https://huggingface.co/VAST-AI/EdenLive
技术报告:https://assets.vast-eden.ai/assets/edenlive/EdenLive-tech-report.pdf
Unbound Loop:http://loop.unbound.io

