NVIDIA 最近发布了 NVIDIA Cosmos 开放世界基础模型(WFM)的更新,旨在加速物理 AI 模型的测试与验证数据生成。借助 NVIDIA Omniverse 库和 Cosmos,开发者可以大规模生成基于物理学的合成数据。
Cosmos Predict 2.5 现在将 Text2World、Image2World 和 Video2World 三个独立的模型统一为一个轻量级架构,能够从单个图像、视频或提示生成一致且可控的多机位视频世界。
Cosmos Transfer 2.5 能够实现高保真、空间可控的世界间风格转换,以增加数据多样性。开发者可以在多机位的仿真环境中添加新的天气、光照和地形条件。Cosmos Transfer 2.5 的体积缩小到上一代的 1/3.5,性能更快的同时,在提示对齐和物理精度方面都有所提升。
这些 WFM 可以集成到在 NVIDIA Isaac Sim 开源机器人仿真框架中运行的合成数据流程中,该框架基于 NVIDIA Omniverse 平台构建,以生成逼真的视频,缩小仿真与现实之间的差距。开发者可以参考由四部分构成的合成数据生成流程:
NVIDIA Omniverse NuRec 神经重建库,可通过智能手机拍摄的图像,在 OpenUSD 环境中重建真实世界的数字孪生。
SimReady 资产,用于为数字孪生填充物理精确的 3D 模型。
Isaac Sim 中的 MobilityGen 工作流,用于生成合成数据。
NVIDIA Cosmos,用于扩充生成数据。
从仿真到现实世界,了解企业与开发者如何使用合成数据:Skild AI,Serve Robotics,Zipline,光轮智能,FS Studio,Robots for Humanity 等领先的机器人和 AI 公司及开发者已经在使用这些技术来加速物理 AI 开发。

