TollBit发布的《机器人状态报告》显示，ChatGPT页面抓取机器人被网站禁止的频率及访问受限页面的次数均居各类AI机器人之首。OpenAI方面表示，因相关请求由用户发起，robots.txt规则可能不适用于该爬虫。
AI爬虫绕过禁令现状
报告显示，在欧洲地区，约15%的已识别AI页面抓取器访问了网站明确标记为禁止的URL。此类行为主要集中在少数特定代理上，其中ChatGPT-User、Bytespider和Youbot访问了近半数欧洲网站禁区的页面，且ChatGPT-User涉及的网站数量最多。
各代理被封禁率差异显著
多数新型页面抓取代理在欧洲网站的封禁率仅为个位数。例如，Claude-User在欧洲的封禁率为9%，北美为26%；Perplexity-User在欧洲为13%，北美为26%。相比之下，ChatGPT-User成为例外，其被封禁比例远高于其他同类代理。
各大平台对Robots.txt的态度分歧
OpenAI文档指出，ChatGPT-User是基于用户提问触发的访问，因此可能不受robots.txt限制。Perplexity也持类似观点，认为Perplexity-User通常忽略该文件。然而，Anthropic明确表示其所有机器人都严格遵守robots.txt协议。TollBit则坚持认定，无论运营商如何解释，任何对被禁URL的请求均视为绕过行为。
区分搜索与抓取代理的重要性
尽管针对ChatGPT-User的禁令存在争议，但更需关注的是OpenAI的OAI-SearchBot。根据官方文档，决定网站是否出现在ChatGPT搜索结果中的是OAI-SearchBot而非ChatGPT-User。若同时屏蔽这两个代理，实际上放弃了通过搜索获得可见性的权益，仅保留了带有例外的抓取控制权。此外，服务器日志或CDN记录反映的是实际到达内容，而robots.txt仅代表站点的请求意愿。
爬虫管控趋势展望
Cloudflare正将爬虫决策权移至网络层，不再依赖爬虫自身合规性判断。自9月15日起，新接入域名将在含广告页面上默认屏蔽训练及代理爬虫，但允许搜索爬虫通行。目前，“用户发起请求”能否继续作为绕过robots.txt的理由仍是未解之谜，这取决于业界对“用户请求”与“爬虫抓取”行为界定的最终共识。