美国50个州总检察长及四个领地联名致信国会，呼吁采取行动打击人工智能生成的儿童性虐待材料（CSAM）。
信中强调：“尽管针对儿童的互联网犯罪已在积极起诉中，但人工智能正为滥用行为开辟新前沿，使得此类起诉更加困难。”
事实上，AI让不法分子更容易制作逼真的深度伪造图像。虽然该技术有时被用于恶搞（如“教皇穿Balenciaga外套”事件），但在最糟糕的情况下，正如总检察长们所指出的，这项技术可能被利用来促成虐待行为。
“无论源照片中的儿童是否遭受身体虐待，创建和传播描绘真实儿童的色情图像都会威胁到受害者及其父母的身心健康与情感福祉，”信中写道。
签署方推动国会建立专门委员会，研究应对AI生成CSAM风险的方案，并扩大现有法律适用范围，明确将AI生成的儿童性虐待材料纳入监管。
目前，未经同意且具有性剥削性质的AI深度伪造内容在网上泛滥，但受害者法律保护寥寥无几。纽约州、加利福尼亚州、弗吉尼亚州和佐治亚州已颁布法律禁止传播此类内容；2019年，德克萨斯州成为首个禁止利用AI深度伪造影响政治选举的州。尽管主要社交平台禁止此类内容，但仍存在漏网之鱼。今年3月，一款声称可将“任何人脸”换入暗示性视频的应用在Facebook、Instagram和Messenger上投放了超230条广告；Meta在接到NBC新闻记者Kat Tenbarge通知后删除了这些广告。
在海外，欧洲立法者正致力于与其他国家合作批准《人工智能行为准则》，但谈判仍在进行中。
人人可用的深度伪造：无审查AI艺术模型引发伦理问题