科技界非自愿的、带有性暗示的深度伪造问题已不再局限于 X。
在致 X、Meta、Alphabet、Snap、Reddit 和 TikTok 领导人的信中，多位美国参议员要求这些公司提供证据，证明其已建立“强有力的保护和政策”，并解释计划如何遏制平台上性暗示深度伪造内容的激增。参议员们还要求保存所有与创建、检测、审核和变现性暗示 AI 生成图像及任何相关政策有关的文件和信息。
这封信发出数小时后，X 宣布更新 Grok，禁止其对穿着暴露的真实人物进行编辑，并将通过 Grok 创建和编辑图像的功能限制为付费订阅用户。（X 和 xAI 属于同一家公司。）
参议员们援引媒体报道指出，Grok 生成女性和儿童性化及裸体图片的情况非常频繁，强调平台防止用户发布非自愿性化图像的护栏措施可能不足以应对这一问题。“我们认识到，许多公司都制定了反对非自愿亲密影像和性剥削的政策，许多 AI 系统也声称会屏蔽露骨色情内容。然而在实践中，正如上述例子所示，用户正在寻找绕过这些护栏的方法，或者这些护栏本身正在失效。”信中说。
Grok 以及随之而来的 X 因助长这一趋势而受到严厉批评，但其他平台也并非免疫。深度伪造内容最初在 Reddit 上走红，当时一个展示名人合成色情视频的页面在 2018 年被下架前曾病毒式传播。针对名人和政客的性化深度伪造内容在 TikTok 和 YouTube 上大量涌现，尽管它们通常起源于其他平台。
去年，Meta 的监督委员会指出了两起涉及女性公众人物的露骨 AI 图像案例，该平台曾允许 nudify（去衣）应用在其服务上投放广告，尽管后来起诉了一家名为 CrushAI 的公司。已有多个报道称，儿童在 Snapchat 上传播同龄人的深度伪造内容。而未列入参议员名单的 Telegram，也因托管旨在给女性照片“脱衣”的机器人而闻名。
作为对这封信的回应，X 引用了其关于更新 Grok 的公告。一位 Reddit 发言人在邮件声明中表示：“我们不允许、也不会允许任何未经同意的亲密媒体（NCIM）出现在 Reddit 上，不提供任何能够制作此类内容的工具，并采取主动措施查找和删除这些内容。”该发言人补充道：“Reddit 严格禁止 NCIM，包括被伪造或 AI 生成的图像。我们还禁止向他人索取此类内容、分享‘去衣’应用的链接，或在其他平台上讨论如何创建此类内容。”Alphabet、Snap、TikTok 和 Meta 未立即回应置评请求。
这封信要求这些公司提供：
- 对“深度伪造”内容、“非自愿亲密影像”或类似术语的政策定义。
- 关于公司对非自愿 AI 深度伪造人体、非裸露图片、修改衣物以及“虚拟脱衣”等内容的政策及执行方式的描述。
- 关于当前处理编辑媒体和露骨内容的政策，以及提供给审核人员的内部指导方针的描述。
- 现行政策如何规范与暗示性或亲密内容相关的 AI 工具和图像生成器。
- 已实施哪些过滤器、护栏或措施来防止深度伪造的生成和传播。
- 公司使用哪些机制来识别深度伪造内容并防止其被重新上传。
- 如何防止用户从这类内容中获利。
- 平台如何防止自身对非自愿 AI 生成内容进行货币化。
- 公司的服务条款如何使其能够封禁或暂停发布深度伪造内容的用户。
- 公司对非自愿色情深度伪造受害者采取何种通知措施。
这封信由参议员丽莎·布朗特·罗切斯特（民主党-特拉华州）、塔米·鲍德温（民主党-威斯康星州）、理查德·布卢门撒尔（民主党-康涅狄格州）、柯尔斯滕·吉利布兰德（民主党-纽约州）、马克·凯利（民主党-亚利桑那州）、本·雷·卢汉（民主党-新墨西哥州）、布莱恩·沙茨（民主党-夏威夷州）和亚当·希夫（民主党-加利福尼亚州）签署。
此举发生在 xAI 所有者埃隆·马斯克表示他“不知道有任何由 Grok 生成的未成年裸体图像”仅仅一天之后。随后在周三，加州总检察长对 xAI 的聊天机器人展开调查，这是在来自全球各国政府日益增长的压力下进行的，这些国家对缺乏围绕 Grok 的护栏从而导致此类事件发生感到愤怒。xAI 一直声称会采取行动移除“X 上的非法内容，包括[儿童性虐待材料]和非自愿裸露内容”，但该公司及马斯克均未回应 Grok 为何最初被允许生成此类内容的事实。
问题不仅限于非自愿 manipulated 的性化图像。虽然并非所有基于 AI 的图像生成和编辑服务都允许用户“脱衣”，但它们确实让用户能轻松生成深度伪造内容。举例来说，据报道 OpenAI 的 Sora 2 允许用户生成包含儿童的露骨视频；Google 的 Nano Banana 似乎生成了一张显示查理·柯克中枪的图片；而使用 Google AI 视频模型制作的种族主义视频在社交媒体上获得了数百万次观看。
当中国图像和视频生成器介入时，问题变得更加复杂。许多中国科技公司和应用程序——尤其是那些与字节跳动有关联的——提供了编辑面部、声音和视频的简便方法，而这些输出内容已传播到西方社交平台。中国在合成内容标注方面有比美国联邦层面更严格的要求，而在美国，公众转而依赖各平台自身碎片化且执行存疑的政策。
美国立法者已经通过了一些旨在遏制深度伪造色情内容的立法，但影响有限。《删除法案》于 5 月成为联邦法律，旨在将制作和传播未经同意的性化图像定为犯罪。但该法中的许多条款使得追究图像生成平台的责任变得困难，因为它们主要将审查重点放在个人用户身上。与此同时，许多州正试图自行采取措施保护消费者和选举。本周，纽约州州长凯西·霍楚尔提出了一项法案，要求对人工智能生成的内容进行标注，并禁止在选举前的特定时期内传播未经同意的深度伪造内容，包括对反对派候选人的描绘。