OpenAI推出全新3D生成模型Shap-E
比Point・E更快收敛，生成质量更高
来源 | 机器之心
近日，OpenAI研究团队升级了3D生成模型，推出全新的条件生成式3D模型Shap-E。该模型在给定相同数据集、模型架构和训练计算的情况下，相较于显式生成模型Point・E具有更优表现。
Shap-E是一个用于合成3D资产的条件生成式模型，支持通过文本生成各种创意3D物体模型。例如：
此外，还能够生成一些常见物体的三维模型，如一碗蔬菜或甜甜圈：
Shap-E是一种在3D隐式函数空间上的潜扩散模型，可渲染为NeRF和纹理网格。与Point・E相比，Shap-E建模了高维、多表示的输出空间，收敛更快，并达到了相当或更好的样本质量。
方法概览
研究者首先训练一个编码器，在给定已知3D资产的密集显式表示情况下，产生隐式函数参数；然后在编码器产生的潜在表示上训练扩散模型，分为以下两步完成：
训练编码器，以产生隐式表示；
应用编码器于数据集，并在潜在数据集上训练扩散先验。
实验结果表明，Shap-E能够在数百万个3D资产的数据集上训练时，根据文本prompt条件生成多样且可识别的样本。
局限与展望
尽管Shap-E可以理解许多具有简单属性的单个对象prompt，但在组合概念方面的能力有限。此外，Shap-E生成的3D资产虽然可识别，但通常看起来较为粗糙，缺乏细节。
