大数跨境

一张静态3D场景即可生成任意视角的动态世界!NYCU联合Alaya Lab开源OuroWorld,单张4090可跑。

一张静态3D场景即可生成任意视角的动态世界!NYCU联合Alaya Lab开源OuroWorld,单张4090可跑。 AIGC Studio
2026-10-17
4
导读:OuroWorld补上了3D世界模型链条里缺的一环:生成静态世界的能力已经够了,让世界"活"起来这件事,现在有了一个免遮罩、可循环、任意视角的方案。
点击下方名片关注AIGC Studio公众号!获取最新AI前沿应用/AIGC实践教程!
扫描下方二维码,加入AIGC Studio知识星球!可以获得最新AI前沿应用/AIGC实践教程/大厂面试经验/算法刷题和IT各学科入门到精通学习资料!学习/科研/工作/副业,强烈推荐!

输入任意来源的静态3DGS场景,输出一个任意视角可看、动态多样、循环无缝的3D cinemagraph。不需要手动遮罩,运动和光照都会动,单张RTX 4090跑完全管线。代码MIT开源,39个论文场景数据已挂Hugging Face。

3D世界模型(HY-World 2.0、Marble、Lyra 2.0)生成的世界照片级真实,但时间是冻结的——你能绕着它走,却看不到烟升起来、水波动。

NYCU 联合 Alaya Lab 推出 OuroWorld:VLM先推断场景里合理的动态并指挥视频模型生成一段参考视频,VGGT-Ω 把它抬升成动态点云再补全成多视角视频,最后用Inconsistency-Robust Periodic 4DGS把这些不完美的监督拟合成4D表示——Fourier参数化的周期形变场让循环在数学上严格成立,锚定在参考视角的Grounded Drift Field吸收跨视角不一致、推理时直接丢弃。在39个重建与生成场景上,OuroWorld是能力表五项(免遮罩、真3D、数学循环、多样运动、光照变化)全部满足的唯一方法;30人两选一用户研究里,偏好率70.8%到99.0%。

unsetunset相关链接unsetunset

  • 论文:https://arxiv.org/abs/2610.12461
  • 代码:https://github.com/youzhe0305/OuroWorld
  • 主页:https://ouroworld.userwei.com
  • 数据集:https://huggingface.co/datasets/YouZhe/OuroWorld-dataset

unsetunset内容介绍unsetunset

视觉语言模型推断场景的合理动态,并引导视频模型从一个视角生成循环的参考视频。该视频被提升到 3D 空间,并通过视频修复模型 补全成多视角视频。由于这些监督信息并不完美,我们采用了一种不一致性鲁棒的周期性 4DGS 模型:傅里叶级数形变场 P通过构造使场景循环(t = T 时精确地返回到 t = 0),而锚定在参考视角的接地漂移场 Δ则吸收了跨视角的不一致性,并在渲染时被丢弃。

static 3DGS ──► scene package ──► reference video ──► multi-view videos ──► periodic 4DGS ──► loop videos
 (App. A)        pivot + reference   GPT-5.5 + Seedance   VGGT-Ω + Trajectory-   P + grounded Δ    static / orbit
                 view                2.0 (§3.1)           Crafter (§4.1)         + SVCO (§4.2)     (§4.3)

与已有3D cinemagraph方法相比,核心特点有三个:

  1. 完全免遮罩:以前的方法要用户手画2D/3D运动掩码、指定哪里该动,OuroWorld由VLM自己推断该动什么、怎么动。
  2. 不挑运动类型:老方法基于Eulerian流场,基本只能做流体;OuroWorld能处理一般形变、物体运动和光照变化——窗帘摆动、雾气飘移、水面反光都行。
  3. 循环是数学保证的:不是"看起来接上了",而是形变场以T为周期,t=T时刻严格回到t=0,接缝处有MALF和Seam SSIM两个指标专门盯着。

适用场景:给3D世界模型或3DGS重建的场景加动态展示、做数字孪生的"活场景"、游戏和虚拟空间的氛围动画。

unsetunset方法概述unsetunset

三段式管线:参考视频生成、多视角视频生成、Inconsistency-Robust Periodic 4DGS。一套机制管"动起来",一套机制管"动得对"。

1. 参考视频生成:让VLM当导演

管线第一步:从输入3DGS选一个参考视角,VLM(GPT-5.5)推断场景中合理的动态并写出生成提示,视频模型(Seedance 2.0)据此合成一段近似循环的参考视频。这一步是唯一调用付费API的环节,约6分钟;开源的Wan 2.2可以作为替代后端(frame_count=73)。发布数据里带了论文用过的prompt和视频,复现论文场景不用花钱。

2. 多视角视频生成:从一条视频到一个世界

VGGT-Ω(1B,权重在HF上需申请)把参考视频抬升成动态点云,用静态多视角渲染改善深度;再把点云从周围N个视角渲染成带空洞的不完整视频,由视频修补模型(TrajectoryCrafter)补全。这一步约70分钟,是整条管线最耗时的一段。

3. Inconsistency-Robust Periodic 4DGS:在矛盾的老师身上学到一致的运动

生成的多视角视频彼此矛盾,直接拟合会糊。OuroWorld的表示是规范3DGS加两个场:Fourier参数化的周期形变场P保证循环(构造性质);Grounded Drift Field Δ只在非参考视角上生效,专门吸收跨视角不一致,推理时丢弃——因为参考视角上没有漂移,形变场必须自己复现参考视角的动态,这正是"既保真又保动"的关键。消融显示:去掉漂移场,场景随时间模糊、细节消失;漂移场不锚定,动态被漂移吸走,运动幅度掉到最低;去掉场景-视角一致优化(SVCO),清晰度VoL在orbit相机下掉22%。

unsetunset实验结果unsetunset

能力对比(Table 1)

方法
免遮罩
真3D
数学循环
多样运动
光照
Gaussians-to-Life
否
是
是
是
否
3D Cinemagraphy
否
否
是
否(仅流体)
否
LoopGaussian
否
是
是
否(仅软体)
否
3D-MOM
否
是
否
否(仅流体)
否
OuroWorld 是 是 是 是 是

原生循环周期:OuroWorld为10秒,四个基线在0.5到2.4秒之间——前者的动态幅度和后者不在一个量级。

三行分别是HY-World 2.0、Marble、Lyra 2.0来源的场景:静态3DGS进,任意视角无限循环出。绿框是动态显著的区域:火山冒烟、星系散尘、海船起伏。

用户研究(30人,两选一强制选择)

在四个准则上与四个基线逐一对比,OuroWorld的偏好率70.8%到99.0%,Vividness(生动度)维度优势最大。

消融(orbit相机)

去掉Grounding后orbit Vividness从0.5117降到0.5080(全场最低);去掉SVCO后subject consistency与VoL最差。完整模型在全部orbit指标上最优。

同一场景三种训练方式对比:无漂移场(糊)、普通漂移场(动被吸走)、锚定漂移场(本方法)。

unsetunset局限与未来方向unsetunset

首先,所有指标都是自建的无参考评测口径:KVD的"自然度"参照分布是用MiniMax-H3按每场景20个种子生成的视频——本质上是跟另一个生成模型的分布比,不是跟真实视频比。

其次,新场景要跑通管线需要付费API(GPT-5.5写动态提示、Seedance 2.0生成参考视频),Wan 2.2开源替代的效果论文没有单独给数。 此外,输入3DGS场景本体不随库分发——三个世界模型的许可不允许转分发,只放了相机、枢轴点和参考渲染,要自己去原来源拿。

最后,代码MIT,但third_party与模型权重各有许可且多个非商用,整条管线只能用于非商用研究;55GB的权重下载也是一道门槛。

unsetunset结论unsetunset

OuroWorld补上了3D世界模型链条里缺的一环:生成静态世界的能力已经够了,让世界"活"起来这件事,现在有了一个免遮罩、可循环、任意视角的方案。

对于玩3D世界模型的读者,拿公开画廊的场景复现最快,发布数据自带prompt和参考视频;对于做数字孪生或虚拟空间的读者,注意参考视频环节的API成本和许可边界。风险提示:整条管线非商用,输入场景本体要自行解决版权。

3D内容生成正在从"造一个世界"走向"造一个活着的世界",这一步跨过去的标志,是循环接缝处再也挑不出毛病。

感谢你看到这里,添加小助手 AIGC_Tech 加入官方 AIGC读者交流群,下方扫码加入 AIGC Studio 星球,获取前沿AI应用、AIGC实践教程、大厂面试经验、AI学习路线以及IT类入门到精通学习资料等,欢迎一起交流学习💗~

【声明】内容源于网络
0
0
AIGC Studio
一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术。这里不仅有简单易懂的AIGC理论实践和AI学习路线,还有大厂工作经历和体会分享。如果有幸能给你一些帮助就更好啦!
内容 1277
粉丝 0
AIGC Studio 一个有趣有AI的AIGC公众号:关注AI、深度学习、计算机视觉、AIGC、Stable Diffusion、Sora等相关技术。这里不仅有简单易懂的AIGC理论实践和AI学习路线,还有大厂工作经历和体会分享。如果有幸能给你一些帮助就更好啦!
总阅读57.6k
粉丝0
内容1.3k