随着技术进步大幅提升AI创作艺术的逼真度，文生图AI今年迎来爆发式增长。尽管Stable Diffusion和DALL-E 2等系统颇具争议，但DeviantArt、Canva等平台已采用该技术赋能创意工具、个性化品牌设计及新产品构思。
这些系统背后的技术远不止生成艺术。这种被称为“扩散（diffusion）”的技术，正被研究团队用于制作音乐、合成DNA序列甚至发现新药。
那么，扩散究竟是什么？为何它相比之前的最先进技术是巨大飞跃？回顾其起源与发展，有助于理解它如何成为当今极具影响力的力量。虽然扩散的故事尚未结束且每月都有新改进，但过去一两年尤为显著。
扩散的诞生
几年前流行的深度伪造（deepfake）应用曾将人物肖像插入现有图像视频中，创建逼真的替换效果。利用AI，这些应用能将人脸甚至全身“插入”场景，逼真程度足以让人第一眼受骗。
此类应用多依赖生成对抗网络（GAN）。GAN由两部分组成：生成器从随机数据合成示例（如图像），判别器则区分合成与真实示例。两者能力不断提升，直到判别器无法以高于50%的准确率区分真伪。（典型训练数据集包含数百至数百万个示例。）
表现优异的GAN可创建虚构公寓楼快照。Nvidia开发的StyleGAN通过学习面部属性生成高分辨率虚构头像。除图像外，GAN还应用于3D建模、矢量草图，并能输出视频片段、语音及歌曲中的循环乐器采样。
然而实践中，GAN存在诸多缺点。生成器与判别器的同步训练本质不稳定，易导致生成器“崩溃”并输出相似样本；且需大量数据和算力，难以扩展。
于是，扩散技术登场了。
扩散的工作原理
扩散受物理学启发——即物质从高浓度向低浓度移动的过程，如同方糖在咖啡中溶解。糖粒最初集中在顶部，随后逐渐分布均匀。
扩散系统借鉴非平衡热力学原理，该过程随时间增加系统熵（随机性）。类似气体通过随机运动充满空间，图像等数据也可通过添加噪声转化为均匀分布。
扩散系统通过不断添加噪声，缓慢破坏数据结构直至只剩噪声。
物理中的扩散不可逆，但在机器学习中，系统旨在学习“反向扩散”过程，恢复被破坏的数据，从而获得从噪声中重建数据的能力。
扩散系统已存在近十年。OpenAI的创新CLIP（对比语言-图像预训练）使其在日常应用中更实用。CLIP对数据分类并根据每一步与文本提示（如“花丛草坪上的一幅狗的素描”）匹配的可能性打分。
起初数据CLIP得分低（主要是噪声），但随着系统从噪声重建数据，逐渐接近提示匹配。类比未雕刻的大理石，CLIP像大师指导新手下刀一样，引导系统朝着高分图像前进。
OpenAI推出DALL-E时引入CLIP，此后应用于DALL-E 2及Stable Diffusion等开源方案。
扩散模型能做什么？
由CLIP引导的扩散模型在生成艺术方面表现出色，涵盖逼真作品、素描、绘画及各类艺术家风格画作。但有证据表明，它们存在令人担忧地复现部分训练数据的问题。
尽管颇具争议，这些模型的天赋远不止于此。
研究人员尝试用引导扩散模型创作新音乐。Harmonai（获Stability AI支持）发布了基于扩散的模型，通过训练数百小时歌曲输出音乐片段。开发者Seth Forsgren和Hayk Martiros创建的Riffusion项目，巧妙利用音频频谱图上训练的扩散模型生成小曲。
超越音乐领域，多个实验室将扩散技术应用于生物医学以发现新疗法。据《麻省理工科技评论》报道，Generate Biomedicines与华盛顿大学团队训练了基于扩散的模型，生成具有特定属性和功能的蛋白质设计。
这些模型运作方式各异。Generate Biomedicines通过解开氨基酸链添加噪声，再在约束条件下组合成新蛋白质；华盛顿大学的模型则从混乱结构开始，利用另一AI系统提供的组装信息进行指导。
它们已取得一定成功。华盛顿大学团队设计的模型找到一种与甲状旁腺激素结合能力优于现有药物的蛋白质。
与此同时，OpenBioML（由Stability AI支持，旨在将机器学习引入生物化学）开发了DNA-Diffusion系统，用于生成细胞类型特异性调控DNA序列。若按计划进行，该系统将根据文本指令生成序列，例如“将在X型细胞中以最大表达水平激活基因的序列”或“在肝脏和心脏中激活基因，但在大脑中不激活。”
扩散模型的未来潜力无限。目前已被应用于视频生成、图像压缩和语音合成。虽然未来可能被更高效的技术取代，正如GAN被扩散取代一样，但其多功能性使其成为当前主流架构自有道理。