人们对虚假信息的警惕性日益增强。调查显示，100%的美国成年人会核实新闻事实，96%的人希望限制虚假信息传播。然而，生成式AI工具的涌现使遏制虚假信息变得愈发艰难。
AI加剧虚假信息威胁
在TechCrunch Disrupt 2023大会“虚假信息与AI”小组讨论中，NewsGuard合作伙伴执行副总裁Sarah Brandt与Adobe内容真实性倡议（CAI）高级总监Andy Parsons指出，随着选举年临近，AI生成虚假信息的威胁亟待关注。
Parsons强调：“如果我们缺乏共享的核心基础和客观事实，民主制度将岌岌可危，围绕共同事实进行理性对话的能力也将受到威胁。”
尽管网络虚假信息并非新现象，但Brandt指出，生成式AI大幅降低了大规模制造和传播虚假信息的成本与门槛。NewsGuard数据显示，仅5月就有49个网站疑似完全由AI撰写，后续又发现数百个不可靠的AI生成站点。
Parsons形容这是一场“规模战”：攻击者每日产出成百上千篇文章，旨在通过搜索引擎获取程序化广告收入或散布错误信息。此外，NewsGuard研究发现，GPT-4比GPT-3.5更易以极具说服力的方式传播虚假叙事，包括模仿国家媒体、健康骗局推销者及阴谋论者的内容格式。
应对困境的技术探索
目前尚无明确解决方案。Adobe虽在其Firefly产品中实施安全过滤，并推动CAI来源元数据标准，但这些措施均为自愿性质，且可能被绕过。
水印技术被视为一种补充手段：
- DeepMind SynthID：以肉眼不可见但专业检测器可识别的方式标记AI图像；
- Imatag：声称其水印不受裁剪、压缩等编辑操作影响；
- Steg.AI：利用AI模型应用抗编辑水印。
Brandt对“经济激励”持乐观态度，认为若生成式AI工具持续产生幻觉或传播错误信息，用户将转向更可靠的服务商。然而，随着无安全限制的开源模型日益普及，这一愿景能否实现仍有待时间验证。