Cloudflare宣布计划于明年推出内容交易市场，允许网站所有者向AI模型提供商出售网站内容的爬取权限。此举是CEO Matthew Prince旨在赋予出版商对AI爬虫更大控制权战略的关键一步。
Prince在接受TechCrunch采访时表示：“若不以某种方式补偿创作者，他们将停止创作，这一问题必须得到解决。”
推出免费工具AI Audit，强化爬虫管控
作为新计划的首步，Cloudflare于周一为客户上线了免费的可见性工具“AI Audit”。该工具提供专属仪表板，帮助网站所有者分析AI模型抓取站点的时间、频率及原因。用户可通过一键操作阻止所有AI机器人，或根据协议及实际需求，选择性允许特定爬虫访问。
演示显示，AI Audit能识别每个爬虫的来源，并提供数据窗口查看OpenAI、Meta、Amazon等主流AI模型提供商的访问频次。
应对AI时代小型出版商的生存挑战
Cloudflare致力于解决AI行业的核心痛点：当用户转向ChatGPT而非直接访问网站时，小型出版商如何在AI时代生存？目前，AI模型提供商大量抓取小网站内容以训练大语言模型（LLMs）。尽管部分大型出版商已与OpenAI达成内容许可协议，但大多数网站在内容被频繁使用的同时未获任何收益，导致流量流失及商业模式受损。
此前，AI搜索初创公司Perplexity曾被指控无视Robots Exclusion Protocol强行抓取网站。随后，Cloudflare推出了“一键屏蔽所有AI机器人”功能。Prince指出，这源于用户对内容被盗用的普遍不满。
据Business Insider报道，高频AI抓取已使部分网站服务器不堪重负，体验类似DDoS攻击，不仅影响服务稳定性，还可能导致云账单激增。
精细化管控与未来市场构想
针对“希望屏蔽Perplexity但保留OpenAI访问权”的需求，Prince表示Cloudflare正开发精细化工具，允许客户自主选择准入的AI模型。
即便是已与OpenAI达成许可协议的TIME、Condé Nast和The Atlantic等大型出版商，也对ChatGPT的实际抓取情况缺乏了解，往往只能被动接受对方提供的信息，难以评估交易是否公平。
Cloudflare计划推出的市场旨在让小型出版商也能参与此类谈判。Prince强调：“我们要赋予所有人此前仅Reddit、Quora及全球大型出版商才具备的能力。如果能让你们为内容被摄入AI系统设定价格，将会怎样？”
尽管愿景宏大，但市场具体形态尚未完全披露。Prince透露，收费模式可能基于AI模型的抓取速率，或采用货币支付、署名要求等形式，具体细节仍在探索中。
尽管AI公司可能对付费获取内容持保留态度，但Prince认为当前“免费获取内容”的模式不可持续，建立合理的补偿机制最终将有利于整个AI生态系统的健康发展。