输入任意来源的静态3DGS场景,输出一个任意视角可看、动态多样、循环无缝的3D cinemagraph。不需要手动遮罩,运动和光照都会动,单张RTX 4090跑完全管线。代码MIT开源,39个论文场景数据已挂Hugging Face。
3D世界模型(HY-World 2.0、Marble、Lyra 2.0)生成的世界照片级真实,但时间是冻结的——你能绕着它走,却看不到烟升起来、水波动。
NYCU 联合 Alaya Lab 推出 OuroWorld:VLM先推断场景里合理的动态并指挥视频模型生成一段参考视频,VGGT-Ω 把它抬升成动态点云再补全成多视角视频,最后用Inconsistency-Robust Periodic 4DGS把这些不完美的监督拟合成4D表示——Fourier参数化的周期形变场让循环在数学上严格成立,锚定在参考视角的Grounded Drift Field吸收跨视角不一致、推理时直接丢弃。在39个重建与生成场景上,OuroWorld是能力表五项(免遮罩、真3D、数学循环、多样运动、光照变化)全部满足的唯一方法;30人两选一用户研究里,偏好率70.8%到99.0%。
相关链接
-
论文:https://arxiv.org/abs/2610.12461 -
代码:https://github.com/youzhe0305/OuroWorld -
主页:https://ouroworld.userwei.com -
数据集:https://huggingface.co/datasets/YouZhe/OuroWorld-dataset
内容介绍
视觉语言模型推断场景的合理动态,并引导视频模型从一个视角生成循环的参考视频。该视频被提升到 3D 空间,并通过视频修复模型 补全成多视角视频。由于这些监督信息并不完美,我们采用了一种不一致性鲁棒的周期性 4DGS 模型:傅里叶级数形变场 P通过构造使场景循环(t = T 时精确地返回到 t = 0),而锚定在参考视角的接地漂移场 Δ则吸收了跨视角的不一致性,并在渲染时被丢弃。
static 3DGS ──► scene package ──► reference video ──► multi-view videos ──► periodic 4DGS ──► loop videos
(App. A) pivot + reference GPT-5.5 + Seedance VGGT-Ω + Trajectory- P + grounded Δ static / orbit
view 2.0 (§3.1) Crafter (§4.1) + SVCO (§4.2) (§4.3)
与已有3D cinemagraph方法相比,核心特点有三个:
-
完全免遮罩:以前的方法要用户手画2D/3D运动掩码、指定哪里该动,OuroWorld由VLM自己推断该动什么、怎么动。 -
不挑运动类型:老方法基于Eulerian流场,基本只能做流体;OuroWorld能处理一般形变、物体运动和光照变化——窗帘摆动、雾气飘移、水面反光都行。 -
循环是数学保证的:不是"看起来接上了",而是形变场以T为周期,t=T时刻严格回到t=0,接缝处有MALF和Seam SSIM两个指标专门盯着。
适用场景:给3D世界模型或3DGS重建的场景加动态展示、做数字孪生的"活场景"、游戏和虚拟空间的氛围动画。
方法概述
三段式管线:参考视频生成、多视角视频生成、Inconsistency-Robust Periodic 4DGS。一套机制管"动起来",一套机制管"动得对"。
1. 参考视频生成:让VLM当导演
管线第一步:从输入3DGS选一个参考视角,VLM(GPT-5.5)推断场景中合理的动态并写出生成提示,视频模型(Seedance 2.0)据此合成一段近似循环的参考视频。这一步是唯一调用付费API的环节,约6分钟;开源的Wan 2.2可以作为替代后端(frame_count=73)。发布数据里带了论文用过的prompt和视频,复现论文场景不用花钱。
2. 多视角视频生成:从一条视频到一个世界
VGGT-Ω(1B,权重在HF上需申请)把参考视频抬升成动态点云,用静态多视角渲染改善深度;再把点云从周围N个视角渲染成带空洞的不完整视频,由视频修补模型(TrajectoryCrafter)补全。这一步约70分钟,是整条管线最耗时的一段。
3. Inconsistency-Robust Periodic 4DGS:在矛盾的老师身上学到一致的运动
生成的多视角视频彼此矛盾,直接拟合会糊。OuroWorld的表示是规范3DGS加两个场:Fourier参数化的周期形变场P保证循环(构造性质);Grounded Drift Field Δ只在非参考视角上生效,专门吸收跨视角不一致,推理时丢弃——因为参考视角上没有漂移,形变场必须自己复现参考视角的动态,这正是"既保真又保动"的关键。消融显示:去掉漂移场,场景随时间模糊、细节消失;漂移场不锚定,动态被漂移吸走,运动幅度掉到最低;去掉场景-视角一致优化(SVCO),清晰度VoL在orbit相机下掉22%。
实验结果
能力对比(Table 1)
|
|
|
|
|
|
|
|---|---|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| OuroWorld | 是 | 是 | 是 | 是 | 是 |
原生循环周期:OuroWorld为10秒,四个基线在0.5到2.4秒之间——前者的动态幅度和后者不在一个量级。
三行分别是HY-World 2.0、Marble、Lyra 2.0来源的场景:静态3DGS进,任意视角无限循环出。绿框是动态显著的区域:火山冒烟、星系散尘、海船起伏。
用户研究(30人,两选一强制选择)
在四个准则上与四个基线逐一对比,OuroWorld的偏好率70.8%到99.0%,Vividness(生动度)维度优势最大。
消融(orbit相机)
去掉Grounding后orbit Vividness从0.5117降到0.5080(全场最低);去掉SVCO后subject consistency与VoL最差。完整模型在全部orbit指标上最优。
同一场景三种训练方式对比:无漂移场(糊)、普通漂移场(动被吸走)、锚定漂移场(本方法)。
局限与未来方向
首先,所有指标都是自建的无参考评测口径:KVD的"自然度"参照分布是用MiniMax-H3按每场景20个种子生成的视频——本质上是跟另一个生成模型的分布比,不是跟真实视频比。
其次,新场景要跑通管线需要付费API(GPT-5.5写动态提示、Seedance 2.0生成参考视频),Wan 2.2开源替代的效果论文没有单独给数。 此外,输入3DGS场景本体不随库分发——三个世界模型的许可不允许转分发,只放了相机、枢轴点和参考渲染,要自己去原来源拿。
最后,代码MIT,但third_party与模型权重各有许可且多个非商用,整条管线只能用于非商用研究;55GB的权重下载也是一道门槛。
结论
OuroWorld补上了3D世界模型链条里缺的一环:生成静态世界的能力已经够了,让世界"活"起来这件事,现在有了一个免遮罩、可循环、任意视角的方案。
对于玩3D世界模型的读者,拿公开画廊的场景复现最快,发布数据自带prompt和参考视频;对于做数字孪生或虚拟空间的读者,注意参考视频环节的API成本和许可边界。风险提示:整条管线非商用,输入场景本体要自行解决版权。
3D内容生成正在从"造一个世界"走向"造一个活着的世界",这一步跨过去的标志,是循环接缝处再也挑不出毛病。
感谢你看到这里,添加小助手 AIGC_Tech 加入官方 AIGC读者交流群,下方扫码加入 AIGC Studio 星球,获取前沿AI应用、AIGC实践教程、大厂面试经验、AI学习路线以及IT类入门到精通学习资料等,欢迎一起交流学习💗~

