OpenAI开源Point-E：3D模型生成新突破

下一个可能席卷AI世界的突破或许是3D模型生成器。本周，OpenAI开源了Point-E，这是一个根据文本提示生成3D对象的机器学习系统。根据随代码库一同发布的论文，Point-E可以在单块Nvidia V100 GPU上在一到两分钟内生成3D模型。

Point-E并非以传统方式创建3D对象。相反，它生成点云，即空间中代表3D形状的离散数据点集合——这也是其俏皮缩写的由来。（Point-E中的“E”代表“效率”，因为它表面上比之前的3D对象生成方法更快。）从计算角度来看，点云更容易合成，但它们无法捕捉物体的精细形状或纹理——这是Point-E目前的一个关键限制。

为了克服这一限制，Point-E团队训练了一个额外的AI系统，将Point-E生成的点云转换为网格。（网格——由定义物体的顶点、边和面组成的集合——在3D建模和设计中被广泛使用。）但他们在论文中指出，该模型有时会遗漏物体的某些部分，导致形状出现块状或扭曲。

除了独立存在的网格生成模型外，Point-E由两个模型组成：一个文生图模型和一个图生3D模型。文生图模型类似于像OpenAI自己的 DALL-E 2 和 Stable Diffusion这样的生成式艺术系统，它在带标签的图像上进行训练，以理解词汇与视觉概念之间的关联。而图生3D模型则接收一组与3D对象配对的图像，从而学会在这两者之间进行有效转换。

当输入文本提示——例如，“一个可3D打印的齿轮，单个直径3英寸、厚度半英寸的齿轮”——时，Point-E的文生图模型会生成一个合成的渲染对象，并将其输入到图生3D模型中，后者随后生成点云。

OpenAI的研究人员表示，在对包含“数百万个”3D对象及其相关元数据的数据库进行模型训练后，Point-E能够生成经常与文本提示相匹配的彩色点云。它并不完美——Point-E的图生3D模型有时无法理解文生图模型生成的图像，导致形状与文本提示不符。尽管如此，据OpenAI团队称，它的速度比之前的最先进水平快几个数量级。

“虽然我们的方法在此评估中的表现不如最先进（state-of-the-art）的技术，但它生成样本所需的时间仅为极小一部分，”他们在论文中写道。“这可能使其在某些应用中更具实用性，或者有助于发现更高质量的 3D 对象。”

应用场景与行业竞争

具体有哪些应用场景呢？OpenAI 的研究人员指出，Point-E 的点云可用于制造现实世界的物体，例如通过 3D 打印。借助额外的网格转换模型，该系统在经过进一步打磨后，也可能进入游戏和动画开发的工作流程。

OpenAI 可能是最新加入 3D 对象生成竞争的公司，但——如前所述——它绝非第一家。今年早些时候，Google 发布了 DreamFusion，这是 Dream Fields 的扩展版本；Dream Fields 是该公司在 2021 年推出的一种生成式 3D 系统。与 Dream Fields 不同，DreamFusion 不需要预先训练，这意味着它可以无需 3D 数据即可生成对象的 3D 表示。

尽管目前所有人的目光都集中在 2D 艺术生成器上，但由模型合成的 AI 可能会成为下一个颠覆行业的力量。3D 模型广泛应用于电影和电视、室内设计、建筑以及各种科学领域。例如，建筑设计公司使用它们来演示拟议的建筑和景观，而工程师则利用这些模型作为新设备、车辆和结构的设计方案。

不过，制作 3D 模型通常需要花费相当长的时间——从几小时到几天不等。如果未来能解决其中的缺陷，像 Point-E 这样的 AI 可能会改变这一现状，并为此为 OpenAI 带来可观的收益。

潜在挑战与知识产权争议

问题在于，随着时间的推移，可能会产生何种类型的知识产权纠纷。3D 模型市场庞大，包括 CGStudio 和 CreativeMarket 在内的多个在线市场允许艺术家出售他们创作的内容。如果 Point-E 受到欢迎，其模型进入这些市场，模型艺术家可能会提出抗议，指出证据表明现代生成式 AI 大量借鉴其训练数据 ——就 Point-E 而言，即现有的 3D 模型。与 DALL-E 2 一样，Point-E 不会对其生成结果可能受影响的任何艺术家进行署名或引用。

但 OpenAI 选择将这个问题留待日后处理。Point-E 的论文和 GitHub 页面上均未提及版权问题。

值得肯定的是，研究人员提到他们指出，Point-E 可能会面临其他问题，例如从训练数据中继承的偏见，以及缺乏针对可能被用于创建“危险物体”的模型的安全保障措施。这或许正是他们谨慎地将 Point-E 定位为“起点”，并希望它能激发文本到 3D 合成领域“进一步工作”的原因。