9月16日，美国云连接与安全公司Cloudflare推出“禁止AI训练”功能。该设置允许网站在保持搜索引擎收录的同时，有效阻止AI模型抓取内容进行训练。
核心功能与行业标准
作为Cloudflare爬虫偏好设置的一部分，“禁止AI训练”功能支持网站所有者对合规爬虫进行统一管理。针对同时服务于搜索索引和AI训练的混合用途爬虫，新工具解决了出版商此前面临的困境：无需在搜索结果可见性与AI训练阻断之间做二选一。
此外，Cloudflare引入了“负责任”标识体系。目前，苹果、谷歌和微软均已获得该标签，表明其符合相关标准或已公布达标时间表。认证标准涵盖四项关键指标：提供AI训练退出选项、支持AI生成摘要退出、具备URL级可见性控制，以及确认退出训练不会影响搜索排名。
网络爬虫流量数据洞察
据Cloudflare数据显示，混合用途爬虫占其平台已验证爬虫流量的36.6%。在应对策略方面，17%的网站已选择限制AI训练，而明确阻止搜索爬虫的网站占比不足1%。