Reddit 宣布更新 robots.txt 协议，限制 AI 爬虫抓取
Reddit 周二宣布更新其机器人排除协议（robots.txt 文件），以规范自动化网络爬虫对网站的抓取行为。
传统上，robots.txt 用于允许搜索引擎抓取并引导用户访问相关内容。但随着人工智能兴起，大量网站内容被用于训练模型且未注明来源，促使 Reddit 做出此次调整。
除更新协议外，Reddit 将继续对未知机器人和爬虫实施速率限制或屏蔽。该公司向 TechCrunch 表示，若爬虫不遵守公开内容政策或未达成协议，将被限速或封锁。
Reddit 强调，此次更新不影响大多数用户及善意行为者（如研究人员、互联网档案馆等），主要针对利用 Reddit 内容训练大语言模型的 AI 公司。不过，AI 爬虫仍可能无视该协议。
此举紧随 Wired 调查曝光 Perplexity 违规抓取事件之后。尽管 Perplexity 在 robots.txt 中被禁止访问，但仍持续抓取内容。其 CEO Aravind Srinivas 回应称，robots.txt 并非法律框架。
已有协议的公司不受影响。例如，Reddit 与 Google 达成价值 6000 万美元的合作，允许后者使用数据训练 AI。此次调整也向其他 AI 公司释放明确信号：使用 Reddit 数据进行训练需付费授权。
Reddit 在博客中写道：“任何访问 Reddit 内容的主体都必须遵守我们的政策，包括保护 redditors 的相关条款。我们谨慎选择合作伙伴，仅将大规模访问权限授予信任的对象。”
此次公告并不意外。几周前，Reddit 已发布新政策，指导商业实体及合作伙伴合规访问和使用平台数据。