Anthropic 本周更新爬虫文档，正式将网络爬虫细分为三个独立机器人：ClaudeBot（训练数据收集）、Claude-User（响应用户查询时抓取）和 Claude-SearchBot（搜索结果索引）。每个机器人均拥有独立的 robots.txt 用户代理字符串。
文档明确指出，阻止 Claude-SearchBot 或 Claude-User 可能会降低网站在 AI 搜索结果中的可见性与准确性。此举标志着 AI 搜索产品“分层抓取”模式的标准化，OpenAI 与 Perplexity 此前已采用类似架构。
三大爬虫功能区分及合规说明
Anthropic 对三种爬虫的用途及屏蔽后果进行了明确界定：
- Claude-SearchBot：负责为搜索结果建立索引。若被屏蔽，系统将无法优化内容索引，直接影响网站在用户搜索中的曝光度。
- Claude-User：用于响应用户具体提问时的实时检索。若被屏蔽，会降低网站在用户主导型搜索中的可见性。
- ClaudeBot：专用于模型训练数据收集。
值得注意的是，Anthropic 声明所有三个机器人都严格遵守 robots.txt 协议。这与 OpenAI 和 Perplexity 形成对比，后两者明确表示其用户发起的抓取器（如 ChatGPT-User）可能不受 robots.txt 同等约束。此外，屏蔽训练机器人并不会自动阻断搜索或用户请求类抓取器。
文档更新背景与行业趋势
此次更新取代了旧版仅提及 ClaudeBot 的做法，并弃用了原有的 Claude-Web 和 Anthropic-AI 用户代理。这一转变反映了 AI 搜索行业的普遍趋势：OpenAI 已于 2024 年底将 GPTBot 拆分为 OAI-SearchBot 和 ChatGPT-User，并指出前两者共享信息以避免重复抓取；Perplexity 则运营着 PerplexityBot（索引）和 Perplexity-User（检索）的双层架构。
全面屏蔽策略失效与流量结构变化
随着 AI 爬虫职能细分，2024 年流行的“一刀切”屏蔽策略已不再适用。BuzzStream 研究显示，79% 的顶级新闻网站屏蔽了至少一种 AI 训练机器人，但其中 71% 同时也屏蔽了检索或搜索机器人，导致自身错失 AI 搜索引用机会。
Hostinger 对 667 亿次爬虫请求的分析证实了这一趋势：OpenAI 搜索爬虫覆盖率从 4.7% 飙升至 55% 以上，而训练爬虫覆盖率则从 84% 骤降至 12%。这表明网站正倾向于允许搜索机器人访问而限制训练数据收集。在可见性警告方面，OpenAI 比 Anthropic 更为直接，明确表示退出 OAI-SearchBot 的网站不会出现在 ChatGPT 搜索结果中。
robots.txt 管理建议与未来展望
鉴于爬虫职能分离，网站管理者需重新审计 robots.txt 文件，摒弃过时的复制粘贴式屏蔽列表。战略性配置应至少为训练机器人和搜索机器人设置独立条目，并注意用户发起的抓取器可能遵循不同规则。SEJ 等机构提供的完整 AI 爬虫列表可作为验证用户代理字符串的参考。
这种三分法为出版商提供了类似 Google-Extended 的精细化选择权：可在拒绝 AI 训练的同时保留搜索曝光。随着 AI 驱动搜索在引荐流量中占比持续扩大，如何平衡数据保护与搜索可见性，将成为决定网页内容在 AI 生态中呈现程度的关键因素。