Cloudflare 推出“按次爬取”机制及默认 AI 爬虫拦截系统，为出版商提供内容货币化新选项。此举旨在重塑生成式搜索时代网络内容的消费与价值评估模式，在 SEO 及数字营销领域引发广泛讨论。
Cloudflare 默认拦截 AI 爬虫及付费访问机制
该系统目前处于私有测试阶段，默认阻止新 Cloudflare 域名的已知 AI 爬虫访问。出版商可针对每个爬虫选择以下三种策略：
- 允许：授予无限制访问权限；
- 收费：要求支付预设的全站统一价格；
- 阻止：完全拒绝访问。
若爬虫尝试访问被拦截内容，将收到 402 Payment Required 响应。Cloudflare 负责处理账单及收入分配，并设想未来 AI 代理可在预算范围内自主获取高质量内容。
技术实现与早期采用情况
该系统集成于 Cloudflare 机器人管理工具中，与现有 WAF 规则及 robots.txt 协同工作。为防止欺骗，身份验证采用 Ed25519 密钥对和 HTTP 消息签名技术。
Condé Nast、Time、The Atlantic、AP、BuzzFeed、Reddit、Pinterest、Quora 等知名出版商已成为早期采用者。尽管当前仅支持固定定价，但平台计划在未来迭代中探索动态及细粒度定价模型。
SEO 社区对默认拦截机制的争议
由于系统默认为“退出机制”而非“加入机制”，多位 SEO 专家表达了担忧。Yext 行业洞察副总裁 Duane Forrester 指出，企业可能在未察觉付费墙的情况下失去 AI 搜索结果中的曝光机会。Amsive Digital 的 Lily Ray 警告称，这可能导致客户因网站对 AI 不可见而产生紧急沟通需求。Razorfish 的 Ryan Jones 也表示，多数客户出于可见性考虑，仍希望 AI 爬虫能正常访问内容。
部分观点视其为内容经济必要重置
亦有声音欢迎此举，认为这是对失衡的内容经济的重新平衡。前 Google 搜索质量团队成员 Pedro Dias 表示，当前动态过度利好 AI 公司而损害出版商利益，需要力量拨回天平。Shopify 杰出工程师 Ilya Grigorik 则肯定了加密认证的必要性，认为其在区分合法与恶意机器人方面至关重要。在新机制下，爬虫必须通过公钥密码学认证并在自定义 HTTP 标头中声明支付意图。
网站所有者应对策略与设置调整
若域名在未察觉情况下屏蔽了 AI 机器人，可能导致 GA4 报告中的 AI 流量急剧下降。OptimizeSmart 创始人 Himanshu Sharma 建议网站所有者主动审查 Cloudflare 设置以重掌控制权：
- 登录 Cloudflare 仪表板；
- 进入“安全”>“机器人”板块；
- 定位“阻止 AI 训练机器人”设置；
- 若需允许 AI 爬虫访问，将默认选项从“阻止所有页面”更改为“不阻止（关闭）”。
此操作允许站长根据自身战略，决定是在 AI 驱动平台保持可见性，还是限制内容用于训练及生成回复。
对未来网络生态的影响展望
Cloudflare 的按次爬取付费系统确立了网络内容访问权及成本的新谈判层级。对于 SEO 而言，可见性不再仅取决于排名，还与爬虫访问设置、付费策略及机器人身份验证深度绑定。
尽管该机制赋予了出版商更多权力，但也存在割裂开放网络的风险。随着生成式 AI 成为核心搜索方式，若底层数据管道转变为收费通路，网站将在日益复杂的系统、政策及财务模型中面临更高的可见性管理挑战。