Meta入局3D生成！可以在一分钟内生成高质量3D资源，速度是现有生成方案的3-10倍。

Meta 3D Gen 是一种新型组合 AI 系统，可以生成高质量 3D 资源，具有端到端的高分辨率纹理和材质贴图，产生的结果优于现有解决方案，速度是目前3D生成领域的3-10倍。

同时发表了两篇研究论文，介绍了基于 Meta 3D Gen 系统背后的文本提示的高质量 3D 模型生成和纹理生成方法。

Meta 3D Gen集成了Meta的基础模型，用于文本到3D以及文本到纹理在统一管道中生成，从而实现高效、最先进的创建和编辑多样化，高质量的纹理3D资产与PBR材料地图。

相关链接

Meta 3D Gen：ai.meta.com/research/publications/meta-3d-gen/

Meta 3D AssetGen：ai.meta.com/research/publications/meta-3d-assetgen-text-to-mesh-generation-with-high-quality-geometry-texture-and-pbr-materials/

Meta 3D TextureGen： ai.meta.com/research/publications/meta-3d-texturegen-fast-and-consistent-texture-generation-for-3d-objects/

论文阅读

摘要

我们推出了 Meta 3D Gen (3DGen)，这是用于文本到 3D 资产生成的一种新的先进快速管道。3DGen 可在不到一分钟的时间内提供具有高即时保真度和高质量 3D 形状和纹理的 3D 资产创建。它支持基于物理的渲染 (PBR)，这对于在实际应用中重新照明 3D 资产必不可少。此外，3DGen 还支持使用用户提供的额外文本输入对先前生成的（或艺术家创建的）3D 形状进行生成性重新纹理化。3DGen 集成了我们分别为文本到 3D 和文本到纹理生成而开发的关键技术组件 Meta 3D AssetGen 和 Meta 3D TextureGen。通过结合它们的优势，3DGen 可以同时以三种方式表示 3D 对象：在视图空间、体积空间和 UV（或纹理）空间中。这两种技术的整合相对于单阶段模型实现了 68% 的胜率。我们将 3DGen 与众多行业基准进行了比较，并表明它在复杂文本提示的提示保真度和视觉质量方面优于它们，同时速度明显更快。

方法

该管道以文本提示符作为输入，并执行文本到3D的生成，其次是纹理细化。第二阶段也可以 用于使用用户提供的新文本提示对生成的或艺术家创建的网格进行纹理重组。

效果

Meta 3D Gen的第一阶段(上)和第二阶段(下)获得的文本到3D世代的视觉对比。在我们的 A/B用户研究表明，第二阶段的玩家在纹理质量上的胜率比第一阶段的玩家高68%。

文本到3d生成的定性结果。我们展示了文本到3d生成的质量和多样性通过3DGen，跨越不同的场景类别(单个对象和组合)。

文本提示保真度与所有行业基线的定性比较(针对具有挑战性的提示)。

图7与使用PBR材料生产纹理的行业基线的定性比较(在同一组提示符上)。

生成形状的纹理结果。Meta 3D Gen第二阶段制作的主题场景示例。通过以一致的方式用新的样式信息增加对象特定的纹理提示。

结论

我们推出了 3DGen，这是一个统一的管道，将 Meta 的文本到 3D 生成基础生成模型与纹理编辑和材料生成功能（AssetGen 和 TextureGen）集成在一起。通过结合它们的优势，3DGen 可以在不到一分钟的时间内从文本提示中实现非常高质量的 3D 对象合成。当由专业 3D 艺术家评估时，与行业替代方案相比，3DGen 的输出在大多数情况下更受青睐，尤其是对于复杂的提示，同时速度提高了 3 倍到 60 倍。 虽然我们目前对 AssetGen 和 TextureGen 的集成很简单，但它提出了一个非常有前途的研究方向，该方向建立在两个重点上：

• 在视图空间和 UV 空间中生成
• 纹理和形状生成的端到端迭代。