Cloudflare推出全新免费工具，旨在防止机器人抓取托管在其平台上的网站数据用于AI模型训练。
尽管Google、OpenAI和Apple等AI供应商允许通过robots.txt文件阻止爬虫，但并非所有AI抓取工具都遵守该规定。Cloudflare指出：“客户不希望AI机器人访问其网站，尤其是那些不诚实的访问者。我们担心部分AI公司会不断调整策略以逃避检测。”
优化自动检测模型
为解决此问题，Cloudflare分析了AI机器人流量以优化自动检测模型。该模型综合考虑多种因素，包括AI是否模仿人类浏览行为以规避检测。
Cloudflare表示：“当不良行为者大规模爬取时，通常使用可被指纹识别的工具。基于这些信号，我们的模型能准确标记规避性AI流量为机器人。”此外，官网已上线表单供站长报告疑似AI爬虫，并将持续手动更新黑名单。
行业现状与挑战
随着生成式AI对训练数据需求激增，屏蔽AI爬虫已成为趋势。研究显示，全球前1000个网站中约26%已屏蔽OpenAI机器人，超600家新闻出版商也采取了类似措施。
然而，屏蔽措施并非万无一失。部分供应商为获取竞争优势无视robots.txt规则，如Perplexity被指控伪装访客抓取内容，OpenAI和Anthropic也被指有时忽略排除协议。内容授权公司TollBit亦证实“许多AI代理”无视标准。
此类工具虽有助于精准检测隐蔽AI机器人，但无法解决核心矛盾：出版商若屏蔽特定AI爬虫，可能面临被Google AI概览等推荐工具排除收录的风险，从而牺牲潜在流量。