大数跨境

从一句话到一个能玩的世界,VAST 把整条链路开源了

从一句话到一个能玩的世界,VAST 把整条链路开源了 APPSO
2026-10-20
4
导读:规则归交互系统,画面归模型

实时生成式渲染:VAST开源EdenLive,让AI跟随玩家操作即时“造景”

在传统游戏中,玩家试探边界是常见操作。若画面由AI实时生成,模型需精准响应每一次转身、跳跃等突发指令,并保持帧率稳定。VAST最新开源的实时世界模型EdenLive(Project Eden系列组件)正是为此而生。作为实时生成式渲染器,它不维护游戏规则与状态,而是接收上游系统传来的灰盒画面、2D/3D场景或真实录像作为参考,实时渲染出高保真视觉效果,实现“边玩边看AI生成世界”。
参考素材无需是完整美术资源,粗糙的3D白模、2D场景甚至现有录像均可提供结构与运动轨迹。通过更换首帧或提示词,同一参考可呈现写实、手绘、卡通、像素或油画等多种风格。

任意视觉参考,交互中实时重绘

EdenLive具备多场景适应能力:既可跟随玩家操作持续生成游戏画面,也可保留视频运动轨迹并转换人物环境风格;在具身智能场景中,还能将第一人称人手操作视频改写为机械臂视角。
其核心机制在于“分工合作”:
  • 参考视频:决定场景布局、镜头运动、物体轨迹及事件时间线;
  • 目标首帧:确定主体、材质、配色和画风;
  • 文本提示词:补充风格细节,支持交互中动态追加描述。
这种架构使生成式渲染从离线视频生成拓展至长时游戏交互、视频风格转换及具身数据增强等领域。

性能突破:消费级显卡实现实时高清生成

在长时生成能力上,基于Gemini-3.8-Flash对45个案例的盲测显示,EdenLive 14B和5B版本在参考遵循、首帧一致性、物理合理性、画质及避免外观泄漏五个维度均位列前二。其中14B版本在参考遵循维度得分1704,显著领先竞品。
实时性方面,EdenLive 5B在单张RTX 5090显卡上可生成超过24 FPS的720P画面,并支持分钟级连续生成。这与传统离线视频生成模型需完整输入才能处理不同,EdenLive能实时追踪不断变化的参考画面。

应用场景:从游戏开发到具身数据增强

在游戏制作中,交互逻辑(如攻击判定、血量计算)仍由上游系统处理,EdenLive仅负责视觉呈现。参考素材可以是白模、粗动画或法线图视频。保持参考不变,仅调整首帧和提示词,即可快速对比不同材质、光照和配色方案,且镜头回转时结构保持一致,无需重新推测。
针对具身智能训练中的数据分布差异问题,EdenLive可将真人操作视频(如擦桌子、开抽屉)中的手部替换为机械臂,保留动作轨迹、相对位置及镜头移动,生成更符合机器人视角的训练素材,有效解决真人视频与机器人实际视觉输入的域偏移问题。
此外,VAST同步开源了面向编程智能体的工具EdenGolem(v0.1)。输入玩法描述后,智能体可分阶段完成设计、搭建、逻辑实现与界面完善,生成可运行的3D灰盒游戏,涵盖解谜、射击、驾驶等多种类型。

架构解析:解耦状态与渲染,确立世界模型新范式

EdenLive并非直接操纵视频模型,而是遵循VAST在Project Eden中提出的三层架构:
  1. 世界状态层:由上游交互系统维护,记录物体位置、属性、规则及动作后果;
  2. 接口层:将状态转换为视角下的布局、几何与事件约束;
  3. 生成式渲染层:EdenLive所在层级,根据约束生成高保真画面。
以格斗游戏为例,攻击判定与血量扣除由上游系统处理,EdenLive仅接收更新后的灰盒状态。视觉编码器从中提取空间布局与运动轨迹,无需关注皮肤光影细节,从而确保视觉元素在长期交互中的稳定性。
“规则归交互系统,画面归模型”的分工策略,有效解决了视频模型难以长期维持逻辑一致性的痛点,为复杂交互下的视觉稳定提供了可行方案。

行业意义:从演示走向可用工作流

2026年初牛津学者指出,世界模型需从“视觉引擎”转向“可操作模拟器”,以解决因果理解不足的问题。VAST早在5月便确立了状态与渲染分离的架构,EdenLive的推出进一步实现了实时连续运行,领先于市场同类方案。
本次开源包含5B与14B模型权重(含双向及少步流式生成版本)、实时推理代码、EdenGolem v0.1及技术报告,开发者可自行接入参考源测试延迟与稳定性。
伴随技术发布,VAST启动V·STAR顶尖人才计划,招募3D生成、3D理解与Agentic AI、世界模型方向的全球青年人才,提供具有竞争力的薪资与期权激励。
EdenLive标志着世界模型从静态视频演示迈向动态交互工作流的关键一步。随着更多开发者接入自定义代码与场景,这一技术有望重塑内容创作与模拟训练的边界。

详细项目信息:

主页:https://vast-eden.ai/?p=edenlive

代码:https://github.com/VAST-AI-Research/EdenLive

模型权重:https://huggingface.co/VAST-AI/EdenLive

技术报告:https://assets.vast-eden.ai/assets/edenlive/EdenLive-tech-report.pdf

Unbound Loop:http://loop.unbound.io

【声明】内容源于网络
0
0
APPSO
AI第一新媒体,「超级个体」的灵感指南。 #AIGC #智能设备 #独特应用 #Generative Al
内容 15859
粉丝 0
APPSO AI第一新媒体,「超级个体」的灵感指南。 #AIGC #智能设备 #独特应用 #Generative Al
总阅读536.9k
粉丝0
内容15.9k