Cloudflare 近日向人工智能行业发出最后通牒，要求将用于传统搜索（如 Google 搜索）的网络爬虫与用于 AI 代理及训练的爬虫明确区分。该公司周三宣布，自 2026 年 9 月 15 日起，其默认设置将阻止任何托管广告页面上的“混合用途”爬虫。
这意味着，除非网站所有者主动调整设置，否则兼具搜索、代理使用和训练功能的爬虫将被默认禁止爬取相关网站。此项变更适用于新 Cloudflare 客户、现有客户的新建网站以及所有免费客户。
此举或将重塑 AI 内容获取模式
这一举措可能深刻影响 AI 模型提供商获取网页内容以进行训练和支持代理服务的方式。Cloudflare 指出，大多数网站所有者虽希望内容能被搜索引擎和 AI 服务发现，但也亟需保护知识产权免受无偿滥用。
Cloudflare 特别点名“世界上最大的搜索引擎”（指 Google），称其掌握的信息量比其他 AI 公司多出约两倍，因为该巨头让用户难以在保持可发现性的同时避免内容被用于 AI 训练。
对此，Google 曾反驳称已提供名为 Google Extended 的机器人，允许网站所有者选择退出 AI 训练及 Gemini Apps、Vertex API 等产品服务，且不影响搜索结果收录。然而，其旗舰产品 Googlebot 仍为搜索而爬取，并涵盖 AI Overviews 和 AI Mode 等 AI 功能。
应对非人类流量激增，推动生态可持续
Cloudflare 联合创始人兼 CEO Matthew Prince 表示：“既然互联网大部分流量来自非人类，我们必须更快行动以构建可持续生态。”他提及近期里程碑事件：网络爬虫流量首次超过人类在线流量，这一转变比预期提前到来。
Prince 强调：“Cloudflare 的新工具和伙伴关系提升了网站所有者的可见性与商业机会，并使意图清晰的 AI 公司受益。我们希望通过默认更改，促使混合用途爬虫将搜索、代理使用和训练分离。”
推出付费机制，优化资源分配
除帮助用户启动 AI 系统外，Cloudflare 还发布了一系列工具，助力出版商在 AI 时代掌控内容。近年来，该公司推出了对抗 AI 机器人的工具，包括允许网站对抓取数据的 AI 机器人收费的市场“Pay Per Crawl”。
目前，该机制正演变为“按使用量付费”（Pay Per Use），使出版商能在内容创造价值时而非仅在被获取时向 AI 公司收费。
Cloudflare 数据显示，超 50% 的 AI 爬虫流量用于重新获取未更改页面，因此这一变化也有助于节省出版商的带宽和计算资源。
为落实该举措，Cloudflare 正与 Ceramic.ai 和 You.com 合作。当出版商选择加入后，若内容出现在 Ceramic 的 AI 搜索结果中或被 You.com 访问付费内容，即可获得报酬。其他 AI 公司也可根据自身模式定制此方案。