整理|徐珊
世界模型的竞争已进入白热化阶段。Yann LeCun 离开 Meta 亲自下场,李飞飞的 World Labs 发布 Marble,NVIDIA 推出 Cosmos,国内大厂与创业公司亦密集布局。让 AI 理解物理世界,已成为行业共识。
然而,模型智能的上限取决于数据。语言和视频模型的成长依托于互联网三十年的积累,而世界模型目前缺乏达到训练基础模型量级的数据。尽管具身智能公司重金投入遥操和第一视角数据采集,但影溯科技创始人兼董事长、浙江大学求是特聘教授章国锋认为,这种方式耗时耗力,如同“伐木挖油”。真正的数据能源应像阳光一样无处不在、取之不竭。
这束“阳光”就藏在人人每天刷过的视频中。视频的每一帧都蕴含世界的运动规律与物理法则,3D 数据一直存在,关键在于如何提取。影溯科技致力于将海量视频转化为可直接训练世界模型的 3D 数据,打造 3D 世界的“太阳能板”。这家成立一年的上海公司,预计今年实现单目视频转 360 度动态场景的批量转制,成本较传统实地采集降低一至两个数量级,旨在解决空间智能赛道最棘手的 3D 数据供给难题。
近期,极客公园创始人张鹏与章国锋深入对话,探讨 3D 数据为何是空间智能的第一性问题、训练账本如何计算,以及物理世界"ChatGPT 时刻”的到来迹象。
01 空间智能的「阳光」来自互联网数据
张鹏:从 SLAM 空间计算到如今的空间智能,您如何理解这一跃迁?
章国锋:SLAM 主要解决在线三维地图重建与自身定位问题。但要真正理解世界,仅靠空间定位和 3D 重建是不够的。例如,判断杯子被碰倒后水会流出,需要基于对物理世界的理解进行推演。空间智能的核心在于不仅能感知空间,还能理解场景语义、通晓物理规则并进行预测交互。简言之,空间计算是三维问题,而空间智能在此基础上增加了对物理规律的认知与推演能力。
张鹏:为何过去难寻智能路径,如今却有了预期?背后的技术认知变化是什么?
章国锋:大模型的突破验证了一种新范式:当模型、数据和算力达到规模,许多过去需人工定义的能力可从数据中涌现。这对三维领域意义重大。过去我们依赖显式几何计算或规则设计,现在首次有机会让模型从海量真实数据中自主学习空间结构、运动规律乃至物理预测。语言模型证明了智能可从大规模学习中涌现,现在的核心问题是:同样的事情能否在三维物理世界中发生。
张鹏:Scaling 所需的数据成为瓶颈。遥操和第一人称数据似乎仍不够用?
章国锋:遥操和第一人称数据虽重要,但属于阶段性解法,成本高、速度慢且多样性有限,难以支撑 Scaling。下一阶段的关键是将互联网上海量的 2D 影像转化为结构化的 3D/4D 数据。机器人需在三维世界行动,3D 不仅是数据格式,更是理解世界、预测变化和采取行动的基础。内部实验显示,联合建模 3D 几何表征与动作能显著提升复杂任务成功率。谁能率先完成规模化数据升维,谁就更可能掌握空间智能的数据入口。
张鹏:世界模型路线图背后有哪些关键技术支撑点?
章国锋:空间智能涵盖感知、重建、生成、理解、交互和推演,核心是解决“空间骨架”问题。物理规律定义在 3D 空间而非像素上,强行对应 2D 会带来冗余和误差。建立 3D 骨架后,物理一致性更易学习。因此,我们主张先做 3D 空间生成,将理解与推演建立在 3D 表征之上,这与李飞飞团队的认知一致:理解物理世界必须先建立三维空间表征。未来的空间智能模型将是生成、理解、预测、推演的一体化模型。
张鹏:具身与空间智能的数据卡点究竟在哪里?
章国锋:卡点在于数据生产方式无法 Scale。采集数据越往后成本越高且易重复,难以保证多样性。若模型仅接触相似场景,即便数据量大也难以涌现通用能力。真正的挑战在于找到一种新机制,使数据量和多样性持续增长且边际成本递减。互联网海量影像已包含大量三维信息,高效提取并转化为 3D/4D 数据是关键路径。数据策略可行的标准很简单:必须能够 Scale 且足够多样。
张鹏:在空间智能世界里,高质量数据的标准是什么?
章国锋:高质量数据必须是 3D 坐标系下的多模态数据。2D 图像视频冗余大且缺乏物理属性,无法体现世界真实状态。好数据的标准是“全量”:不仅包含完整 3D 信息,还嵌入时序对应与因果关系。以此训练,具身智能才能获得强泛化能力。影溯的优势在于能从 2D 数据自动高效生成全量 3D 场景数据。
张鹏:如果给数据来源排序,最高效的路径是什么?
章国锋:数据应呈金字塔结构。底层需最大量、互联网级别的数据,像“阳光”一样无处不在;顶层少量高价值数据可通过高成本采集获得。互联网视频是几十亿人几十年的积累,靠短期采集无法企及。合理成本结构是:最大量数据以最低成本获取(如互联网视频转制),少量专家数据以较高成本获得,组合成可持续的训练体系。
张鹏:将互联网视频转化为“太阳能”是您最核心的思考吗?
章国锋:是的。文字、图像、视频均有互联网级数据,唯独 3D 缺乏原生大数据。现有深度相机数据(RGBD)多为局部,适用于重建但不适用于生成。生成模型需看到完整样本以补全未拍摄部分。因此,最高效解法是将互联网视频转为全量 3D 甚至动态 4D 数据。
张鹏:未来数据成本结构会是怎样?
章国锋:完全靠实采动态场景成本极高。我们的目标是通过提升转制效率,让大规模生产 3D/4D 数据在经济上成立。利用互联网金矿,从普通视频生成时空一致的多视角及完整 4D 场景,单位数据成本可随效率提升持续下降。
张鹏:物理世界的"ChatGPT 时刻”到来前会有哪些迹象?
章国锋:那一刻并非 AI 突然变成 AGI,而是普通人直观感受到机器真正理解了空间。信号可能先出现在数字世界:用户只需一句话或几张图,即可生成可交互的完整 3D 世界。随后延伸至物理世界,如扫地机器人能自然规避复杂情况,自动驾驶能处理未见过的场景。只要出现一个足够直观好用的产品,让大家感知到机器理解三维世界,那个时刻便已开始。一旦 3D/4D 数据问题解决,这一进程将快于预期。
02 创业的吸引力在于解决空间智能的第一性问题
张鹏:为何选择此时从研究者转型创业者?
章国锋:技术发展已到窗口期。过去空间计算门槛高、人才稀缺,难以规模化。如今 AI 进入物理世界,3D 成为绕不开的核心。生成式 AI 降低了 3D 门槛,使得补全和生成成为可能。2024 年李飞飞创立 World Labs 也是一个强烈信号:顶尖人才正汇聚于此,空间智能迎来新节点。
张鹏:具身需求是否也已到位?
章国锋:是的。机器人若仅在标准化环境工作,工程即可解决;但要进入家庭等非结构化环境,必须具备对空间和物理世界的通用理解能力。世界模型要解决的正是让机器人拥有“大脑”,能先判断推演再行动,这是具身智能走向泛化的关键。
张鹏:公司成立一年,技术发展是否符合预期?
章国锋:进展超出预期。原以为静态场景生成已具挑战,但研究发现单目视频转全量 3D 动态场景(4D)在技术上完全可行。一旦 4D 数据能从海量视频中低成本规模化产生,我们就真正有机会将真实世界的空间变化和物理经验转化为可 Scaling 的训练数据。
张鹏:类比 OpenAI 的 GPT 系列,影溯处于什么阶段?
章国锋:我们更接近 2.0 阶段:关键技术路径已验证,但数据 Scaling 尚未全面发生。下一步关键是做大通过数据规模提升模型能力。引入明确 3D 结构可使学习效率提升一个数量级。最终可能需要千万至亿级场景数据才能迎来空间智能的"ChatGPT 时刻”。3.0 阶段将是数据与模型真正开始 Scaling,进而带来能力涌现。
张鹏:物理规则需要预设还是由模型自学?
章国锋:两者结合。已知的基本几何和物理约束可直接告知模型;而真实世界中难以建模的复杂运动、形变等,则需让模型从大量 4D 数据中自学。4D 数据记录了世界的变化,物理规律便藏于其中。
张鹏:在模型架构上有何思考?
章国锋:架构创新的核心在于表征层级。视频数据冗余大,而 3D 表征(显式与隐式结合)只需表达一次场景,变化的仅是状态,Token 数量可减少一至两个数量级,从而大幅降低对算力和数据量的需求。我们正探索适配三维的 Transformer 架构及跳出 Next Token Prediction 的新范式。实验表明,坚守 3D 本质可显著提升学习效率。
03 造「大脑」、开源和商业循环
张鹏:影溯的定位是什么?
章国锋:我们的目标是实现通用空间智能基础模型,成为机器人的“大脑”。无论具身、自动驾驶还是游戏影视,底层逻辑都是对世界的理解、生成与推演。我们将聚焦做强基础“空间能力”,应用将自然衍生。影溯站在空间智能模型的视角,致力于解决下一个 AI 十年的核心问题。
张鹏:如何理解近期发布的新成果?
章国锋:主要包括基础模型 InSpatio-World 和引擎平台 Topos。InSpatio-World 让用户能走进动态视频场景自由浏览;Topos Pro 服务于具身训练仿真,可将图像批量转为带物理属性的 3D 场景,支持物体实例化与任务仿真,形成数据闭环;Topos Lite 则是轻量化 3D 生成探索,支持秒级生成 3D 场景并已开源,旨在降低 3D 内容生产门槛,激发开发者生态。


张鹏:面对 Cosmos、World Labs 等竞品,影溯的窗口期还有多久?
章国锋:技术领先是阶段性的,关键在于能否将领先转化为积累。我们要建立“数据飞轮”:更强的转制能力带来更低成本的 3D/4D 数据,丰富的数据反哺更强模型,进而提升数据生产效率。真正的竞争是谁能更早跑通这一循环,让时间站在自己这边。
张鹏:在商业变现与技术突破之间如何权衡?
章国锋:作为基模公司,我们首要任务是突破模型能力。过早深耕垂类商业化可能限制长期天花板。模型能力的突破将解锁意想不到的商业模式,正如 LLM 催生了 AI Coding 等新应用。
张鹏:在"ChatGPT 时刻”到来前,哪些市场已形成价值循环?
章国锋:目前主要有三方面:一是可控视频能力赋能创作者;二是为具身公司提供数据服务(打标、3D 结构化、多样性增强);三是与头部具身公司联合研发 3D 世界模型。最新研究显示,联合建模 3D 几何与动作表征,在复杂遮挡任务中的成功率从 40% 提升至 80% 以上。此外,开源的 Topos Lite 旨在做大 3D 内容蛋糕。
张鹏:团队构成及对 AI Native 组织的理解?
章国锋:空间智能需要复合型团队。我们既有资深 3D 研究者提供长期积累,也有年轻研究员带来新工具与大胆想法。例如开源项目 QuerySplat 即由 00 后主导。AI Native 组织不仅是使用 AI 工具,更在于扁平化管理,让最佳想法快速验证。我们鼓励失败,但要求每次失败带回新信息。理想的组织状态是:既能长期深耕一个问题,又能迅速试错新想法。


