Patreon作为创作者会员平台，正严厉打击为训练目的抓取内容的AI行为。周四，该公司宣布与互联网基础设施提供商Cloudflare合作，直接阻止旨在未经授权利用创作者作品训练AI模型的机器人访问。
自2023年首次采取措施威慑AI爬虫以来，相关技术已日趋复杂，加强防护势在必行。尽管Patreon的付费墙长期屏蔽了大量内容，但近期推出的重新设计首页信息流及类似推文的Quips功能等新发现工具，可能使更多内容暴露于爬虫风险之下。
这一举措正值在线出版商和内容创作者普遍应对AI摄取工作成果以优化模型之际。Cloudflare现已提供限制AI机器人的工具，包括允许网站向抓取数据的AI收费的“按次爬取收费”（Pay Per Crawl）市场。本月早些时候，该公司调整政策，默认阻止既索引内容又用于训练的“混合用途”爬虫访问托管广告页面。
Patreon将扩展与Cloudflare的合作，利用其AI Crawl Control技术更新AI政策及执行工具。不同于以往仅通过robots.txt文件请求AI爬虫遵守规则，Patreon现在主动拦截用于AI训练的爬虫。
Patreon博客文章强调：“同意不应取决于抓取者是否选择遵守规则”，以此阐明采取更严格措施的必要性。
测试显示，各AI训练爬虫每周尝试访问Patreon的次数已从“数千次”降至“零”。这表明即便有robots.txt请求，AI爬虫仍无视规则持续抓取网站内容。
不过，对于能对页面进行索引、组织信息并将用户引导回Patreon的爬虫，公司仍将允许其运行。
Patreon产品负责人Drew Rowny表示：“随着AI代理日益强大普及，创作者有权对其作品被AI使用的方式发表意见。在互联网大部分地区，创作者为触达受众不得不接受作品被用于AI训练。Patreon秉持不同愿景：创作者应能发展受众并掌控作品使用方式。”