
Google更新爬虫文档:明确三类爬虫定义与规则
Google近日更新了《验证Googlebot及其他Google爬虫》帮助文档,新增章节详细阐述了其拥有的三类爬虫体系。此举旨在回应业界对新型GoogleOther爬虫的关注,由Google工程师Gary Illyes主导补充说明,以澄清技术细节并规范站长认知。
Google爬虫三大分类详解
根据最新文档,Google爬虫被划分为以下三类,各类在功能、robots.txt遵循规则及身份验证上均有明确区分:
1. Googlebot:核心搜索爬虫
作为Google搜索产品的主要抓取工具,Googlebot始终严格遵守robots.txt协议。其反向DNS掩码格式为“crawl-***-***-***-***.googlebot.com”或“geo-crawl-***-***-***-***.geo.googlebot.com”,具体IP范围列表可通过官方googlebot.json文件查询。
2. 特殊用例爬虫:特定功能执行者
此类爬虫用于执行AdsBot等特定任务,可能遵守也可能不遵守robots.txt规则。其反向DNS掩码统一为“rate-limited-proxy-***-***-***-***.google.com”,对应IP范围列表存储于special-crawlers.json文件中。
3. 用户触发爬虫:响应终端请求
包括Google Site Verifier等由最终用户主动触发的工具。由于抓取行为基于用户指令,该类爬虫会忽略robots.txt规则。其反向DNS掩码格式为“***-***-***-***.gae.googleusercontent.com”,IP范围详见user-triggered-fetchers.json文件。
文档可视化更新与页面调整
新版帮助文档中已包含上述分类的详细说明截图,便于站长直观理解:

此外,Google同步优化了爬虫页面的展示逻辑,重新排列了Googlebots的顺序,以提升信息检索效率:


