Cloudflare 正测试一项“按次爬取”新工具，允许内容创作者向 AI 爬虫收取抓取费用。该功能目前处于 Beta 阶段，面向部分出版商及创作者开放。用户可自主设定抓取价格，并精细控制机器人访问权限，包括屏蔽所有爬虫或仅允许特定机器人访问指定内容。
按次爬取核心机制
- 基础设施集成：基于现有 HTTP 状态码与身份验证机制构建付费访问框架。
- 支付交互流程：AI 爬虫请求内容时需在请求头展示支付意图；若未支付，服务器将返回 402 Payment Required 状态码及定价信息。
- 灵活授权策略：出版商可选择授予免费访问、拒绝访问，或要求全站统一付费。
- 平台角色定位：Cloudflare 担任记录商户（Merchant of Record），并提供底层技术支撑。
- 未注册处理：若爬虫未建立计费关系，Cloudflare 将拦截访问并提示未来可能的付费合作机会。
官方愿景与后续规划
Cloudflare CEO 马修·普林斯强调，原创内容是互联网发展的基石。该模式旨在将数据控制权归还创作者，同时保障 AI 公司合规创新，维护自由且充满活力的互联网生态。
继去年 9 月推出“一键屏蔽 AI 爬虫”功能（超百万客户采用）后，Cloudflare 宣布新规：未来所有新注册用户（含免费版）的域名，默认将屏蔽所有已知 AI 爬虫。