大数跨境

Google 拆分 Googlebot IP 段以区分用户触发的抓取器

Google 拆分 Googlebot IP 段以区分用户触发的抓取器 谷歌google快讯
2024-04-26
0
导读:Google 现在公开了用于用户触发抓取器的 Googlebot IP 段。用户触发抓取器源自 Google 工具和产品功能,由最终用户触发抓取操作。

Google近日正式公开了用于用户触发抓取器(User-Triggered Fetchers)的IP地址段。此类抓取器源自Google工具及产品功能,由终端用户操作触发。随着技术条件成熟,Google现已能够导出并公示这些长期使用的IP列表。

新增Google控制抓取器IP列表

Google在验证页面中新增了user-triggered-fetchers-google.json文件,其中包含由Google产品直接控制的抓取器IP地址,以区别于Apps Script等用户自主控制的场景。该列表涵盖了已稳定运行多年的IP段,可通过官方渠道获取。

两类抓取器IP的技术区分

为便于站长识别与配置,Google明确了两种抓取器的技术特征:

  • Google控制抓取器:IP源自user-triggered-fetchers-google.json,反向解析主机名为google.com;
  • 用户触发抓取器:IP源自user-triggered-fetchers.json,反向解析主机名为gae.googleusercontent.com。
典型应用场景包括:部署于Google Cloud (GCP) 的网站根据用户请求,自动抓取外部RSS源等内容。

AdsBot Mobile Web iOS变体移除

除更新抓取器IP信息外,Google还同步调整了爬虫名单,正式从列表中移除了AdsBot Mobile Web的iOS版本。

【声明】内容源于网络
0
0
谷歌google快讯
谷歌官方更新资讯
内容 3766
粉丝 0
谷歌google快讯 谷歌官方更新资讯
总阅读451
粉丝0
内容3.8k