大数跨境
0
0

推荐一款5s内实现文生3D和图生3D的工具

推荐一款5s内实现文生3D和图生3D的工具 AI算法之道
2024-07-04
2
导读:LGM文生3D模型介绍











01


引言



近几个月来,利用人工智能解决方案来生成3D内容取得了一些重大进展。几周前,Luma Labs推出的Genie,可根据文本描述来创建3D 模型。不过,Genie 的一个缺点是,生成过程可能需要 10 分钟左右才能完成。

现在,一种名为 LGM 的新解决方案有望大幅缩短时间,只需 5 秒即可生成 3D模型。闲话少说,我们来看看这个模型的性能吧!






02


 什么是LGM


LGM(大型多视图高斯模型)是一个新颖的框架,可从简单的文字描述甚至单张图像中生成高分辨率的三维模型。


LGM的工作原理


它使用非对称 U-Net作为主干网络和多视角扩散模型。这种技术组合可实现近乎即时的三维创作,解决了早期模型中存在的分辨率和保真度问题。


如果您想进一步了解 LGM 的工作原理,请查看相关论文。

Arxiv:  https://arxiv.org/pdf/2402.05054.pdf






03


 亲自体验


大家可以试试前往 LGM HuggingFace 页面,输入大家想要生成的 3D 物体的描述。

网址:

https://huggingface.co/spaces/ashawkey/LGM

例如,我想生成一个泰迪熊的 3D 模型。

Prompt: teddy bear 

提示:泰迪熊


下面是生成的 3D 模型预览:


这个 3D 模型看起来非常棒!所有的角度似乎都是正确的,从不同的角度观察,模型都保持一致,没有奇怪的扭曲。








04


 复杂例子


现在,让我们尝试一个更复杂的模型,看看人工智能能生成多复杂的3D模型。

Prompt: Ducati Hypermotard 939 

提示:杜卡迪 Hypermotard 939

生成的多视角图像如下:


遗憾的是,虽然单独的预览图片看起来很有希望,但完整的 3D建模并不那么成功。





05


 图生3D


除了文本到 3D 的功能外,LGM 还支持从输入图像生成 3D 物体。

生成的 3D 模型很好地保持了形状和结构,这也标志着人工智能对形状理解的新高度。


下面是 LGM 项目页面上的更多例子:

LGM 图像转 3D

LGM 文本到 3D


更多资源大家可以访问LGM的项目介绍页面,网址如下:

网站:https://me.kiui.moe/lgm/






06


  优缺点分析


  • 优点:这类技术对 3D 建模而言可能是革命性的。艺术家能以迅雷不及掩耳之势集思广益,进行建模。游戏开发人员可以简化工作流程,加快原型设计和制作。

  • 缺点:任何技术的飞跃都有其缺点。一些3D艺术家可能会抵制采用这些工具,从而落后于时代。即使是 Adobe 这样的大型公司,作为 3D 建模软件的巨头,也可能因为人工智能让工作流程变得更简单、更易用而面临颠覆。





07


  应用分析


想象一下,这种人工智能解决方案将如何改变多个行业。我能想到的几个应用方向:

  • 游戏:比以往任何时候都更快速地构建更动态、更细致的游戏世界。
  • 动画:角色和环境以前所未有的速度和便捷性栩栩如生。
  • 3D打印:更多的人可以使用实物设计和快速原型制作。
  • 建筑设计:更复杂的设计,可视化和迭代在眨眼之间完成。







08



总结


尽管有些建模效果还不是很完美,但不可否认的是,该项工作所蕴含的创造潜力也是巨大的。总之,很开心可以看到这一领域快速取得的一些有趣的进展。






点击上方小卡片关注我





添加个人微信,进专属粉丝群!


【声明】内容源于网络
0
0
AI算法之道
一个专注于深度学习、计算机视觉和自动驾驶感知算法的公众号,涵盖视觉CV、神经网络、模式识别等方面,包括相应的硬件和软件配置,以及开源项目等。
内容 573
粉丝 0
AI算法之道 一个专注于深度学习、计算机视觉和自动驾驶感知算法的公众号,涵盖视觉CV、神经网络、模式识别等方面,包括相应的硬件和软件配置,以及开源项目等。
总阅读23
粉丝0
内容573