大数跨境

世界生成模型来了3D头部玩家,可进入生产管线的场景级生成时代来临!

世界生成模型来了3D头部玩家,可进入生产管线的场景级生成时代来临! 量子位
2026-09-01
8
导读:单图直出场景,顶会最佳论文落地

影眸 Hyper3D 发布 WorldGen:3D 生成从“造物”迈向“造世界”

3D 生成技术迎来重大突破,正式从单一资产生成跨越至完整场景构建。影眸 Hyper3D 正式发布世界生成模型 WorldGen,用户仅需上传一张场景图,2 至 3 分钟即可生成一个完整、可交互且具备物理属性的 3D 场景。

在该场景中,桌椅等资产不仅可独立移动、旋转和替换,更遵循真实的物理规律。若移除关键支撑物,周围物体将发生相应的位移或跌落。这一进展标志着 3D 生成技术已具备进入真实生产环境的能力。

WorldGen 的技术基座源自影眸 Hyper3D 自研的场景级生成技术 CAST,该技术曾荣获国际图形学顶会 SIGGRAPH 2025 最佳论文奖,同期获此殊荣的商业公司仅有谷歌和 Meta。

如果说传统 AI 3D 解决的是“物体长什么样”,那么 WorldGen 则回答了核心难题:多个物体如何带着空间关系和物理属性,共同组成一个可用的场景。

一张图生成可编辑场景:打破“整体式”局限

当前主流的整体式场景生成往往“中看不中用”,生成的场景是一个不可拆解的整体,用户难以进行二次编辑。WorldGen 通过技术革新解决了这一痛点。

影眸 Hyper3D 创始人兼 CEO 吴迪指出,传统做法将整个场景作为一个模型生成,导致内容合并为不可拆解的整体。WorldGen 的关键在于将场景拆解为可单独操作的资产,同时保留它们之间的空间与物理关系。

其生成流程高效且精细:

  1. 智能识别:系统自动识别上传图片中的主要物体,支持手动框选指定生成部分。
  2. 资产生成:前景物体作为独立资产逐个生成,预览速度仅需 2 至 3 秒。
  3. 背景补全:利用 3D Gaussian Splatting 技术补全背景环境,兼顾视觉完整性,全流程耗时约 2 到 3 分钟。
  4. 物理仿真:开启 SimReady 模式后,系统为每件资产补充碰撞体,并估算质量、摩擦系数等仿真所需的物理属性。

多行业落地:从具身智能到影视制作

WorldGen 的生成能力已足以支撑真实生产场景,在多个领域展现出巨大应用潜力。

具身智能:针对真实数据采集成本高、危险环境难复现以及传统仿真搭建耗时长的痛点,WorldGen 提供了高效解决方案。通过与地瓜机器人、谋先飞合作的闭环方案,WorldGen 负责生成可交互三维场景,MotrixSim 引擎负责物理仿真,地瓜机器人提供算力,形成了从场景准备到策略验证的完整链路。此外,作为 NVIDIA Inception 成员,影眸 Hyper3D 正推动 Isaac Sim 生态从“单个资产”向“整个场景”拓展。

游戏开发:WorldGen 将概念图直接转化为对象化场景,大幅前置了关卡设计工作。策划可检查动线,设计师可移动道具,美术可针对性精修。生成的独立资产可直接导入 Blender、Unity、Unreal Engine 等主流引擎进行二次创作。今年 7 月,影眸 Hyper3D 已与 Unity 中国达成合作,构建从 3D 生成到实时游戏应用的工程闭环。

影视制作:WorldGen 充当“导演台”,解决视频生成中难以精确控制物体位置的问题。创作者可利用 WorldGen 建立可控 3D 基底完成镜头调度,再结合视频生成模型提升画质。其 AI Render 模块支持自由运镜和风格变换,助力实现大片级视觉效果。目前已有实际影视项目采用该流程。

XR 与空间计算:凭借任意视角观察及资产可替换特性,WorldGen 可将普通照片转化为沉浸式空间,广泛应用于室内设计、沉浸式教育及空间展示等领域,配合 Apple Vision Pro 等设备,推动空间计算落地。

技术解密:从 SIGGRAPH 最佳论文到产品化

WorldGen 的成功源于其坚实的技术底座——CAST 框架。场景生成的难点在于单张图片缺乏深度、尺度及遮挡信息,容易导致物体穿插、悬空等错误,且错误会级联放大。

CAST 框架通过四步走策略解决上述问题:

  • Step 1 看懂:拆解输入图片为对象清单,估计相对深度,提取空间线索。
  • Step 2 补全:针对每个物体独立生成完整 3D 几何,利用遮挡感知机制补全不可见区域。
  • Step 3 归位:将生成物体放回统一空间,估计旋转、平移和尺度,保持原图构图。
  • Step 4 纠错:建立物体关系图,描述接触、支撑等关系,结合 SDF 进行物理校正,消除穿透和不合理堆叠。

在获得 SIGGRAPH 最佳论文后,团队耗时一年专门解决多模块串联导致的错误累计问题,通过重构底层流程和提升单环节稳定性,最终打造出完全体形态的 WorldGen。

影眸 Hyper3D 联创兼 CTO 张启煊定义道,世界生成模型是通过文本或图像将描绘的场景还原为可用的三维世界,它既是广义世界模型的重要组成部分,又选择了 3D 作为承载外观与属性的核心载体。

3D 生成进入场景级时代

WorldGen 的核心价值在于解决了产业共同面对的前置难题:如何将脑洞与海量资产快速结合,实现场景化变现。

虽然以 Rodin Gen-2.5 为代表的模型已极大缩短单资产制作周期,但真实项目往往需要复杂的资产拼装与校准。WorldGen 改变了 AI 3D 的基础交付单位,从“一件物体”升级为“一份初步搭建完成的场景”。

对物理规律的精准模拟决定了 WorldGen 的上限。当生成的场景能够承载内容、模拟交互并无缝接入现有工作流时,其价值便不再局限于尝鲜,而是真正赋能专业创作者提高生产效率。

WorldGen 的出现填补了场景级缺口,标志着 3D 生成正式从生成物体迈向组装世界,开启了场景级时代的新篇章。

【声明】内容源于网络
0
0
量子位
各类跨境出海行业相关资讯
内容 16411
粉丝 1
量子位 各类跨境出海行业相关资讯
总阅读399.6k
粉丝1
内容16.4k