OpenAI的Sora能够实时生成视频和交互式3D环境，是生成式人工智能前沿技术的杰出展示——一个真正的里程碑。
但有趣的是，促成这一成果的创新之一，即通俗称为“扩散变换器”（Diffusion Transformer）的AI模型架构，在AI研究界已存在数年之久。
扩散变换器还驱动着AI初创公司Stability AI最新的图像生成器Stable Diffusion 3.0，似乎 poised to transform the GenAI field by enabling GenAI models to scale up beyond what was previously possible.
扩散变换器的诞生与原理
纽约大学计算机科学教授Saining Xie于2022年6月启动了催生扩散变换器的研究项目。在与William Peebles的合作中（Peebles当时在Meta的AI研究实验室实习，现为OpenAI Sora的联合负责人），Xie将机器学习中的两个概念——扩散和变换器——结合起来，创造了扩散变换器。
大多数现代基于AI的媒体生成器，包括OpenAI的DALL-E 3，都依赖一种称为“扩散”的过程来输出图像、视频、语音、音乐、3D网格及艺术作品等。
这个概念并非最直观：噪声会被缓慢添加到一段媒体（如图片）中，直到其无法辨认。该过程重复进行以构建含噪数据集。当扩散模型在此类数据上训练时，它会学习如何逐步去除噪声，一步步接近目标输出媒体。
传统扩散模型通常拥有被称为U-Net的“骨干”引擎。虽然U-Net能很好地估计需去除的噪声，但其结构复杂，专门设计的模块可能会显著拖慢扩散流程。幸运的是，Transformer可以取代U-Net，并在此过程中带来效率和性能的提升。
Transformer的核心优势
Transformer是处理复杂推理任务的首选架构，为GPT-4、Gemini和ChatGPT等模型提供动力。它们具有几个独特特征，但最显著的无疑是“注意力机制”。对于每一段输入数据（在扩散情况下即为图像噪声），Transformer会评估其他每个输入的相关性（图像中的其他噪声），并从中提取信息以生成输出（对图像噪声的估计）。
注意力机制不仅使Transformer比其他模型架构更简单，还使其具备并行化能力。换言之，更大规模的Transformer模型可以通过计算量显著但可实现的增加来进行训练。
Xie在一封电子邮件采访中告诉TechCrunch：“Transformer对扩散过程的贡献类似于发动机升级。”“Transformer的引入……标志着可扩展性和有效性的重大飞跃。这一点在Sora等模型中尤为明显，这些模型受益于海量视频数据的训练，并利用庞大的模型参数展示了Transformer在大规模应用时的变革潜力。”
行业趋势与未来展望
既然扩散Transformer的概念已存在一段时间，为何像Sora和Stable Diffusion这样的项目花了多年才开始利用它们？Xie认为，直到最近才凸显出拥有可扩展骨干模型的重要性。
“Sora团队确实竭尽全力展示了这种方法在大尺度上能实现多少更出色的效果，”他说，“他们几乎明确表明，从今往后，扩散模型中将淘汰U-Nets而采用变换器。”
扩散Transformer应该可以简单地替换现有的扩散模型，无论这些模型生成的是图像、视频、音频还是其他形式的媒体。目前训练扩散Transformer的流程可能会引入一些低效和性能损失，但Xie相信从长远来看这些问题可以得到解决。
“主要结论相当直白：忘掉U-Nets并转向变换器，因为它们更快、效果更好且更具可扩展性，”他说，“我有兴趣在扩散变换器的框架内整合内容理解与创作的领域；目前这两者如同两个不同的世界——一个用于理解，另一个用于创作；我设想未来能将这两个方面整合在一起，我相信实现这一整合需要底层架构的标准化，而变换器正是此目的的理想候选者。”
如果Sora和Stable Diffusion 3.0只是扩散Transformer未来表现的预览，那么我们将迎来一段激动人心的旅程。