这一举措标志着逻辑的根本翻转：从「默认允许，可选屏蔽」转变为「默认屏蔽，可选允许」。这是互联网基础设施层首次对 AI 数据获取进行系统性规范。
背景在于一个里程碑事件：互联网 Bot 流量已超越人类流量。Cloudflare CEO Matthew Prince 指出，这一节点比预期的 2027 年提前到来。如今，大多数网页的主要访问者已是机器而非人类。如何规范 AI 流量，不仅关乎网站未来，也决定了网络守门人 Cloudflare 的发展轨迹。
最严厉的「爬虫政策」
Cloudflare 将 AI 爬虫细分为三类，网站主可分别设置权限：
- Search（搜索）：为搜索引擎建立索引的传统爬虫。
- Agent（代理）：实时代替用户访问网页的 AI 代理。
- Training（训练）：大规模抓取内容用于模型训练的爬虫。
此举直击 Google 痛点。Googlebot 作为典型的「混合爬虫」，同时服务于搜索索引和 AI 功能（如 AI Overviews）。尽管 Google 提供了选退工具，但其核心爬虫仍会一并收集 AI 训练数据。Cloudflare 的新规遵循「最严规则优先」原则：若站长屏蔽 Training 类爬虫，Googlebot 等混合爬虫将被整体拦截，强制解绑了「被搜索」与「被训练」的捆绑关系。
旧有的「内容换流量」契约已崩塌。数据显示，Google 的爬取回流比为 14:1，而 OpenAI 高达 1,700:1，Anthropic 更是达到 73,000:1。在 AI 时代，单向的数据掠夺已难以为继。
从「保安」到「收银员」
Cloudflare 不满足于仅做防御性的「保安」。继去年推出「按爬取次数收费」后，今年升级为「Pay Per Use」模式：只有当内容在 AI 系统中产生实际价值（如生成回答、出现在搜索结果）时，出版商才能获利。这旨在构建一个以内容为标的的交易市场。
目前，Ceramic.ai 和 You.com 已成为初始合作伙伴，Condé Nast、Reddit 等大型出版商纷纷表态支持。然而，Cloudflare 自身角色的复杂性引发争议：今年 3 月，其发布的爬虫 API 可一次性抓取全站内容，且曾被发现难以被屏蔽。尽管官方承诺遵守规则，但这种既当裁判（制定规则）、又当运动员（运营爬虫）、还做中间商（搭建交易平台）的模式，使其更像是一个新型的「AI 内容税收站」。
普通人能分到蛋糕吗？
支持者多为拥有法务团队和谈判筹码的大型出版商。对于个人博主和中小创作者而言，处境更为尴尬。理论上，该设施可降低谈判门槛，但实际上，OpenAI、Google 等巨头尚未加入该付费体系。
更现实的矛盾在于，曝光对小创作者至关重要。屏蔽 AI 爬虫可能导致其在算法噪音中消失。数据显示，AI 聊天机器人带来的引荐流量比传统搜索少约 96%，用户点击引用来源的概率仅约 1%。即便付费模式全面铺开，其收益规模恐怕难以弥补因 AI 搜索导致的广告收入下滑。这更像是一次止损尝试，而非彻底的变局。
「菩萨」也有自己的庙
Cloudflare 因将数据掠夺透明化而被誉为「赛博菩萨」，但在 Bot 流量主导的互联网上，其政策影响力有限。Cloudflare 仅管理全球约 20% 的流量，AI 公司可将重心转向其他站点。此外，监管层面（如英国 CMA）也在施压 Google 提供独立的选退机制。
这一变革揭示了一个深层趋势：互联网的「收费站」正从搜索引擎层下移至基础设施层。过去二十年，Google 决定谁能被看见；如今，Cloudflare 试图在更底层设卡，要求访问者自报家门并按规矩付费。收费站变了，但收费的逻辑未必改变。
*头图来源：hitechnectar.com
