随着大型语言模型（LLM）的普及，不良行为者利用AI在互联网散布垃圾信息的门槛大幅降低。过去几年间，网络垃圾信息与机器人内容泛滥的问题愈发严峻。
Reddit表示已开发工具利用LLM对抗由AI生成的垃圾信息，采取“以火攻火”策略。据该平台称，目前每天可拦截2300万次垃圾信息浏览，并发现约25,000条新的垃圾帖子和评论。
尽管社交媒体平台多年来持续构建自动化反垃圾工具，但Reddit指出更新后的工具捕获率显著提升。“我们利用LLM捕捉旧系统曾忽略的微妙、协调一致的虚假行为和人为炒作模式，”一篇Reddit博客文章称。数据显示，1月至3月用户接触垃圾信息的比例较前三个月减少了20%。
在AI内容管理方面，YouTube、Meta和Instagram等平台允许用户发布AI生成内容，但前提是必须进行披露；TikTok甚至允许用户自主调节希望看到的AI生成内容数量。
若平台能更快检测出AI生成内容，也将有助于更及时地标记仇恨言论等违规信息。但专家提醒，AI内容审核必须与人工审核相结合，才能获得最有效的结果。