大数跨境

Google 记录其三种类型的网络爬虫

Google 记录其三种类型的网络爬虫 谷歌google快讯
2023-04-24
0
导读:Google 已更新其《验证 Googlebot 及其他 Google 爬虫》帮助文档,新增一个章节,描述其拥有的三类或三种类型的爬虫。它们拥有自己的 Googlebot 爬虫、特殊用例爬虫和用户触发

Google更新爬虫文档:明确三类爬虫定义与规则

Google近日更新了《验证Googlebot及其他Google爬虫》帮助文档,新增章节详细阐述了其拥有的三类爬虫体系。此举旨在回应业界对新型GoogleOther爬虫的关注,由Google工程师Gary Illyes主导补充说明,以澄清技术细节并规范站长认知。

Google爬虫三大分类详解

根据最新文档,Google爬虫被划分为以下三类,各类在功能、robots.txt遵循规则及身份验证上均有明确区分:

1. Googlebot:核心搜索爬虫

作为Google搜索产品的主要抓取工具,Googlebot始终严格遵守robots.txt协议。其反向DNS掩码格式为“crawl-***-***-***-***.googlebot.com”或“geo-crawl-***-***-***-***.geo.googlebot.com”,具体IP范围列表可通过官方googlebot.json文件查询。

2. 特殊用例爬虫:特定功能执行者

此类爬虫用于执行AdsBot等特定任务,可能遵守也可能不遵守robots.txt规则。其反向DNS掩码统一为“rate-limited-proxy-***-***-***-***.google.com”,对应IP范围列表存储于special-crawlers.json文件中。

3. 用户触发爬虫:响应终端请求

包括Google Site Verifier等由最终用户主动触发的工具。由于抓取行为基于用户指令,该类爬虫会忽略robots.txt规则。其反向DNS掩码格式为“***-***-***-***.gae.googleusercontent.com”,IP范围详见user-triggered-fetchers.json文件。

文档可视化更新与页面调整

新版帮助文档中已包含上述分类的详细说明截图,便于站长直观理解:

此外,Google同步优化了爬虫页面的展示逻辑,重新排列了Googlebots的顺序,以提升信息检索效率:

【声明】内容源于网络
0
0
谷歌google快讯
谷歌官方更新资讯
内容 9318
粉丝 0
谷歌google快讯 谷歌官方更新资讯
总阅读496
粉丝0
内容9.3k