OpenAI此前发布了DALL-E的高分辨率、低延迟版本DALL-E 2，该工具可根据用户文本描述生成相应图像。此类AI工具的兴起也引发了关于艺术创作的广泛讨论。知名建筑师Güvenç Özel曾在访谈中深入探讨“有意识设计”概念，以及AI辅助创作导致造型艺术与文学融合的话题。
Stable Diffusion：DALL-E 2的开源替代方案
与DALL-E 2类似，Stability AI旗下的Stable Diffusion也能将文本描述转换为视觉图像。上周，团队宣布向研究人员开放该产品，并将其定位为DALL-E 2的开源替代方案，这是面向公众开放的第一阶段。相关代码已在GitHub上发布。
建模过程由Runway的Patrick Esser和慕尼黑路德维希-马克西米利安大学（LMU）机器视觉与学习研究组的Robin Rombach领导。该团队在CVPR'22上介绍了其在潜在扩散模型方面的前期工作，并获得了Eleuther AI、LAION及Stability AI生成式AI团队的社区支持。
CompVis和Runway团队结合了潜在扩散模型（Latent Diffusion Models），以及Stability AI生成式AI开发负责人Katherine Crowson、OpenAI DALL-E 2和Google Brain Imagen所揭示的条件扩散模型（Conditional Diffusion Models）的相关见解。具体采用的模型架构也可查阅。
核心数据集基于LAION-Aesthetics训练，这是LAION-5B的子集。该子集使用新的CLIP模型创建，依据Stable Diffusion Alpha测试用户的评级，按图像“美观度”对LAION-5B进行过滤。目前，LAION-Aesthetics即将正式发布。
关键数据
Stable Diffusion可在用户设备GPU显存低于10GB的环境中运行，数秒内即可生成512×512像素图像。在模型训练期间，超1万名Beta测试用户日均生成图像达170万张。