一款能够根据任何文本提示生成逼真图片的新型开源AI图像生成器在上线首周便迅速获得了惊人的普及。Stability AI推出的Stable Diffusion虽然保真度高，但可在现成的消费级硬件上运行，目前已被Artbreeder、Pixelz.ai等艺术生成服务所采用。然而，该模型未加过滤的特性意味着并非所有用途都完全合规。
大多数用例是合规的。例如，NovelAI一直在尝试使用Stable Diffusion来生成可搭配其平台上用户生成的AI故事的插图。Midjourney推出了一项测试版功能，利用Stable Diffusion实现更高的照片级真实感。
但Stable Diffusion也被用于一些不太光彩的目的。在模型早期泄露的臭名昭著的讨论板4chan上，有几个帖子专门讨论由AI生成的裸体名人图像以及其他形式的生成式色情内容。
Stability AI的首席执行官Emad Mostaque称模型在4chan上泄露是“不幸的”，并强调公司正在与“顶尖伦理学家和技术人员”合作，制定关于负责任发布的安全及其他机制。这些机制之一是包含在整体Stable Diffusion软件包中的可调节AI工具——Safety Classifier（安全分类器），它试图检测和阻止具有冒犯性或不良内容的图像。
然而，尽管Safety Classifier默认开启，但它可以被禁用。
Stable Diffusion处于全新的领域。其他AI艺术生成系统（如OpenAI的DALL-E 2）已对色情内容实施了严格过滤。（许可证禁止某些应用，如剥削未成年人，但该模型本身在技术层面并未受到限制。）此外，许多系统不具备创作公众人物艺术作品的功能，而Stable Diffusion却可以。这两种能力结合可能带来风险，使不法分子能够创建色情“深度伪造”内容——在最坏的情况下，这可能助长虐待行为或使某人被卷入其未犯下的罪行中。
不幸的是，女性极有可能是此类事件的主要受害者。2019年进行的一项研究显示，在90%至95%的非自愿深度伪造内容中，约90%涉及女性。Mission Control负责AI事务的副总裁Ravit Dotan表示，这对这些AI系统的未来前景并不乐观。
Dotan通过电子邮件告诉TechCrunch：“我担心非法内容的合成图像会产生其他影响——它会加剧所描绘的非法行为。”例如，“合成儿童[剥削]内容会增加真实儿童[剥削]内容的创作吗？会增加恋童癖者的攻击次数吗？”
蒙特利尔AI伦理研究所的主要研究员Abhishek Gupta也持有这一观点。他说：“我们确实需要思考AI系统的整个生命周期，包括部署后的使用情况和监控，并思考如何设想能够在最坏情况下尽量减少伤害的控制措施。”“当像Stable Diffusion这样强大的能力被释放到公众领域，可能对那些该系统可能被针对的人造成真正的创伤时，这一点尤其重要，例如通过创建以受害者形象为特征的令人反感的內容。”
过去一年的情况某种程度上像是这种风险的预演：一名父亲听从护士的建议，拍摄了年幼孩子肿胀的生殖器部位的照片，并通过短信发送到了护士的iPhone上。该照片自动备份至Google Photos，并被该公司的AI过滤器标记为儿童性虐待材料，导致该男子的账户被禁用，并引发了旧金山警察局的调查。
Dotan等专家表示，如果一张合法照片都能触发此类检测系统，那么由类似Stable Diffusion的系统生成的深度伪造内容自然也能做到——而且可以大规模进行。
Dotan说：“人们创建的AI系统，即使初衷良好，也可能以他们未曾预料且无法防止的方式被用于有害目的。”“我认为开发人员和研究人员往往低估了这一点。”
当然，创建深度伪造的技术早已存在，无论是否由AI驱动。深度伪造检测公司Sensity在2020年的一份报告中发现，每月都有数百部包含女性名人的露骨深度伪造视频上传至全球最大的色情网站；该报告估计，网上深度伪造总数约为49,000个，其中超过95%为色情内容。自几年前AI驱动的换脸工具进入主流以来，Emma Watson、Natalie Portman、Billie Eilish和Taylor Swift等女演员已成为深度伪造的目标，其中一些人（包括Kristen Bell）已公开反对他们所认为的性剥削行为。
但Stable Diffusion代表了新一代系统，用户只需付出极少努力即可创建出极其逼真——尽管未必完美——的虚假图像。它也易于安装，最多只需要几个设置文件以及一块高端价格在数百美元的显卡。目前，正在研发更高效的系统版本，以便能在M1 MacBook上运行。
伦敦大学玛丽女王学院AI研究组的博士研究员塞巴斯蒂安·伯恩斯（Sebastian Berns）认为，自动化以及规模化定制图像生成的可能性是与Stable Diffusion等系统的主要区别——也是主要问题。他说：“大多数有害图像已经可以通过传统方法制作，但需要大量人力和精力。”“能够生成近乎照片级真实影像的模型，可能会引发针对个人的个性化勒索攻击。”
伯恩斯担心，从社交媒体上抓取的个人照片可能被用来训练Stable Diffusion或类似模型，以生成针对特定对象的色情图像或描绘非法行为的图像，这绝非空穴来风；2018年，在报道一名八岁克什米尔女孩被强奸的事件后，印度调查记者拉娜·艾尤布成为印度民族主义网络喷子的攻击目标，其中一些人利用她的面部合成到他人身体上的深度伪造色情内容。该深度伪造视频由民族主义政党人民党（BJP）的领导人分享，艾尤布因此遭受的骚扰如此严重，以至于联合国不得不介入干预。
伯恩斯继续表示：“Stable Diffusion提供了足够的定制化能力，使得向个人发送自动威胁成为可能：要么付款，否则将面临虚假但可能造成损害的影像被公开的风险。”“我们已经看到有人因网络摄像头被远程访问而遭到敲诈。这种入侵步骤可能不再必要。”
随着Stable Diffusion已在野外广泛使用，并被用于生成色情内容——其中一些属于非自愿性质——图片托管平台可能不得不采取行动。TechCrunch联系了一家大型成人内容平台OnlyFans，其表示将“持续”更新技术，以“应对创作者和粉丝安全面临的最新威胁，包括深度伪造（deepfakes）。”
OnlyFans一名发言人通过电子邮件表示：“所有OnlyFans上的内容都会经过最先进的数字技术审查，并由我们训练有素的人工审核员进行人工审核，以确保内容中出现的人物是已验证的OnlyFans创作者，或者我们拥有有效的授权书。”“任何我们怀疑可能是深度伪造的内容都会被停用。”
同样允许成人内容的Patreon的一名发言人指出，该公司有禁止深度伪造的政策，并禁止那些“重新利用名人肖像并将非成人内容置于成人语境中”的图片。
该Patreon发言人在一封电子邮件中继续表示：“Patreon不断监控新兴风险，例如[由AI生成的深度伪造]。目前，我们已有相关政策，不允许对真人实施虐待行为，也不允许任何可能导致现实世界伤害的内容。”“随着新技术或新潜在风险的出现，我们将遵循既定的流程：与创作者密切合作，为Patreon制定政策，包括允许哪些福利以及哪些内容符合准则。”
这家初创公司正在释放类DALL-E 2的AI，不顾后果
然而，如果历史可以作为参考，执法力度很可能参差不齐——部分原因是鲜有法律专门针对与色情相关的深度伪造行为提供保护。即使法律行动的威胁迫使一些专注于有害AI生成内容的网站关闭，也毫无办法阻止新网站的涌现。
换句话说，正如古普塔（Gupta）所说，这是一个崭新的世界。
古普塔说：“创意用户和恶意用户可以滥用[Stable Diffusion]的能力，以极少的资源运行推理——这比训练整个模型更便宜——大规模生成主观上令人反感的内容，然后在4chan等平台发布，以吸引流量和注意力。”“当此类能力‘流入野外’时，情况变得严峻，因为API速率限制、对系统返回输出类型的安全控制等约束不再适用。”
编者注：本文早期版本包含了一些涉及相关名人深度伪造内容的图片，但这些图片随后已被移除。