新智元报道
新智元报道
世界模型赛道近日迎来爆发。谷歌DeepMind发布实时世界模型Genie 4，实现每秒24帧生成及40毫秒低延迟；李飞飞团队World Labs推出全模态模型Atlas，可基于少量照片生成高清3D漫游视频。然而，这些视觉逼真的模型缺乏底层刚体力学计算，难以直接用于具身智能机器人的实操训练。
针对这一痛点，大晓机器人联合南洋理工大学S-Lab正式发布面向具体环境构建、可探索、可交互的世界模型「Mundo」。该模型将3D场景重建、物理仿真与视频生成融为一体，结合Astra空间理解能力，不仅具备逼真视觉，更懂物理属性，支持机器人在虚拟环境中进行真实交互训练。
代码驱动物理交互：从静态重建到动态仿真
传统3D重建模型生成的场景多为静态，无法互动。Munto通过将家具等物体编写为场景代码，赋予其重量、质心和摩擦力等物理属性，使其成为可被代码或外力操控的物理实体。
在办公室实测中，仅凭9张照片即可构建可用Python代码操控的物理世界。演示显示，系统能精准模拟抽屉滑开、苹果升空及以13.5米/秒速度撞击显示器等复杂物理过程，并支持“子弹时间”定格观察。底层采用960Hz MuJoCo物理引擎，确保在不同材质和重力条件下力学计算的精准性，如保龄球撞击产生的55.6千牛冲击力均能与画面同步。
Astra空间理解：毫米级精度的3D边界校准
精准的物理仿真依赖于精确的三维结构还原。Mundo仅需1至12张照片即可重建3D空间，甚至能基于单幅油画延伸出可漫游的3D街景。为解决长镜头生成模糊问题，系统采用分段生成策略，每段124帧并保留34帧作为衔接，同时动态匹配参考照片以保持画面连贯。
为确保物理碰撞准确，Mundo引入Astra模块进行空间理解。通过“修改代码、投影比对”的循环机制及Reviewer Agent复核，将酒店客房内3D框的边缘误差从72.3像素降低至1.9像素，显著优于Boxer和SpatialLM等现有模型。最终，系统通过场景代码建模、物理轨迹计算和真实光影渲染三个核心模块，将静态照片转化为可交互的逼真画面。
一站式机器人训练：从单张桌面照到整层酒店实景
Mundo极大简化了机器人训练流程。基于重建场景中的障碍物信息，A*算法可瞬间规划导航路线，并生成第三人称跟随视角和第一人称头部视角。在机械臂抓取训练中，只需一张桌面照片即可自动生成仿真环境，支持Franka Panda、Unitree G1等五款不同结构机器人进行抓取练习。系统还具备四维时空“子弹时间”功能，可定格动作并环绕观察，便于排查遮挡死角和优化动作策略。
目前，该技术已在商业酒店完成实测。通过22万点云重建整层酒店空间，人形机器人成功实现从大堂到客房的自主导航、送包以及拉开洗衣机门等复杂交互。Mundo补上了大晓机器人Kairos世界模型体系中环境建模与仿真训练的关键一环，即将在国内头部连锁酒店落地应用。
项目地址：https://mundo-world-model.github.io/
博客地址：https://huggingface.co/blog/Luo-Yihang/mundo-world-model
编辑：摩西
