几年前，Alex Yu 和 Amit Jain 联手创立了一家公司，旨在让人们仅用智能手机即可捕捉物体的 3D 模型，无需额外设备。当时，Yu 是加州大学伯克利分校的 AI 研究员，而 Jain 则是苹果公司负责构建 Vision Pro 多媒体体验的员工。
他们的公司 Luma 于 2021 年推出了一款智能手机应用，并迅速获得关注——用户数量达到数百万（截至发稿时略超过两百万）。但随着生成式 AI 技术涌入市场，Yu 和 Jain 希望将 Luma 发展成比最初设想更大、更好的平台。
Luma 今天宣布，它将开始利用一个由约 3,000 块 Nvidia A100 GPU 组成的计算集群来训练新的 AI 模型，这些模型能够——用 Yu 的话来说——“看和懂、展示和解释，并最终与[世界]互动。”
认识一下 Genie，这是一种全新类型的生成式 3D 基础模型的研究预览版 #MadeWithGenie
💬 在 Discord 上几秒钟内创建 3D 物体
⚡️ 以各种风格进行原型设计
🎨 自定义材质
🆓 研究预览期间免费立即尝试 👇https://t.co/NVgbsvn2XU pic.twitter.com/qm7PkdMEAp
— Luma AI (@LumaLabsAI) 2023 年 11 月 1 日
该计划的第一阶段涉及创建能够从文本描述中生成 3D 对象的模型；Luma 今年早些时候在其 Discord 服务器上推出了这样一个模型，名为 Genie。下一步将是开发“下一代”生成式 AI 模型，以解决 Yu 所描述的当前代 GenAI 中的“恐怖谷”问题。
Yu 在 TechCrunch 的电子邮件采访中表示：“我们相信多模态对智能至关重要。要超越语言模型，下一个突破将来自视觉。”[然而，]AI 需要变得更加聪明，才能实现人们对其寄予的潜力。
为了实现这一愿景，Luma 在 B 轮融资中筹集了 4,300 万美元，参与方包括 Andreessen Horowitz 以及其他新老投资者。据一位知情人士透露，此轮融资将 Luma 的估值定为 2 亿至 3 亿美元之间；Luma 目前的资金池已超过 7,000 万美元。
Luma 目前的重心——推出用于创建 3D 模型的 AI 模型——是一个竞争日益激烈的领域。这里有像 3DFY 和 Scenario 这样的对象制作平台，以及 Hypothetic、Kaedim、Auctoria 和 Mirage 等初创公司。Stability AI 最近推出了一款独立工具用于生成 3D 模型，较新的创业公司 Atlas 也是如此。就连 Autodesk 和 Nvidia 等传统巨头也开始涉足该领域，推出了如 Get3D 等应用可将图像转换为 3D 模型，以及 ClipForge 可根据文本描述生成模型。
那么 Luma 的工具如何脱颖而出？Yu 表示，主要是保真度。
他说：“当前的模型都在二维图像上进行训练，当被要求生成场景时，它们会扭曲空间、身体和动作。”“在前几次尝试中，很难生成任何连贯且可用的内容，这限制了输出的使用范围……[我们正在带来]最先进的生成式 photorealistic technolog[ies]，并将其集成到一个直观的应用程序中。”
考虑到 Luma 雄心勃勃的新路线图才刚刚起步，这样的前景令人充满期待。Genie 的改进版今天发布，但未来更强大的生成式 AI 模型还需时日才能问世。
不过，Luma 正争分夺秒地推进计划，预计到明年年底将其 24 人的团队规模扩大一倍，同时组建由“数千”块 GPU 组成的模型运行服务器集群。或许它终将取得进展；时间会给出答案。
Jain 表示：“我们一直在扩大团队，涵盖生成式 AI 研究、工程、设计和产品等领域，以实现我们的愿景，并计划在本轮融资后显著加快步伐。”“通过 Genie，首次实现了利用 AI 大规模创建 3D 物体的可能性，短短四周内用户数就达到了 10 万……[但我们希望]为用户构建能力更强、更智能、更有用的视觉模型。”