Cloudflare 宣布自动阻止混合用途爬虫
Cloudflare 已宣布计划自动阻止那些既为搜索引擎索引网站又同时充当AI代理和训练器的混合用途网络爬虫。该公司此前曾为客户提供可选功能以防止爬虫抓取其网站数据用于AI聊天机器人，但现在Cloudflare的立场正变得更加默认防御性。
"鉴于目前互联网上的大部分流量并非来自人类，我们必须采取更进一步的行动并加快步伐，以便催生出一个可持续的生态系统。" Cloudflare 的首席执行官兼联合创始人 Matthew Prince 在一份声明中表示。"Cloudflare 的新工具和伙伴关系为网站所有者提供了更高的可见性和商业机会，同时也惠及那些拥有意图清晰、透明的机器人的 AI 公司。我们希望我们提议的默认更改能够促使混合用途爬虫将搜索与代理使用及训练区分开来。"
过去，网络流量通常意味着人们正在查看网站的广告或为其订阅付费，但能够代表用户访问网站以获取最新信息的 AI 模型的流行颠覆了这一体系。Cloudflare 的新方法旨在以一种对 AI 公司和网站运营者都公平的方式重新平衡这种关系。
2026年9月起实施新默认设置
从 2026 年 9 月 15 日起，新客户以及现有 Cloudflare 订阅者的新网站将默认设置为“允许搜索，但阻止对带有广告的页面进行训练和代理使用”。如果混合用途爬虫不给网站所有者选择是否将其网站用于 AI 的机会，这些爬虫也将默认被阻止访问带有广告的页面。据该公司称，免费账户的用户也将切换到这些默认设置，除非他们在 9 月 15 日的截止日期之前选择退出。
推出“按使用量付费”新模式
作为这些变更的一部分，Cloudflare还发布了其于2025年推出的按次付费爬取（Pay Per Crawl）功能的新版本，该功能允许网站默认阻止AI网络爬虫，除非公司付费抓取其内容。该功能现更名为“按使用量付费（Pay Per Use）”，Cloudflare表示，支付不再基于网页是否被爬取，而是当网站内容出现在AI聊天机器人的回答中时，网站所有者将获得报酬。此次公告仅提及与Ceramic.AI和You.com的合作，但Cloudflare可能希望其他AI公司也能加入，成为其客户选择启用该服务后的合作伙伴。
间接针对Google等混合用途爬虫
除了总体上试图使网站与 AI 公司之间的关系更加公平之外，正如 TechCrunch 所指出的那样，Cloudflare 似乎也在间接针对 Google。该公司的公告提到，“最大的搜索引擎能够访问的信息量比领先的 AI 公司多出约 2 倍，因为它们使得客户在不被用于 AI 的情况下难以保持可发现性。”Google 的主要爬虫 Googlebot 既为公司各种搜索引擎索引网站，又收集信息以训练 Gemini 并支持 AI Overviews 和 AI Mode 等 AI 功能。Google 允许网站选择加入一个名为 Google-Extended 的独立爬虫，该爬虫仅用于传统搜索结果的网络抓取；但如果出版商希望其内容出现在 AI Mode 结果中，但不希望其内容用于训练 Google 的模型，他们却没有这样的选项。Cloudflare 的新政策正是试图迫使 Google 和其他拥有混合用途爬虫的公司改变其策略。