
Google近日正式公开了用于用户触发抓取器(User-Triggered Fetchers)的IP地址段。此类抓取器源自Google工具及产品功能,由终端用户操作触发。随着技术条件成熟,Google现已能够导出并公示这些长期使用的IP列表。
新增Google控制抓取器IP列表
Google在验证页面中新增了user-triggered-fetchers-google.json文件,其中包含由Google产品直接控制的抓取器IP地址,以区别于Apps Script等用户自主控制的场景。该列表涵盖了已稳定运行多年的IP段,可通过官方渠道获取。
两类抓取器IP的技术区分
为便于站长识别与配置,Google明确了两种抓取器的技术特征:
- Google控制抓取器:IP源自user-triggered-fetchers-google.json,反向解析主机名为google.com;
- 用户触发抓取器:IP源自user-triggered-fetchers.json,反向解析主机名为gae.googleusercontent.com。
典型应用场景包括:部署于Google Cloud (GCP) 的网站根据用户请求,自动抓取外部RSS源等内容。
AdsBot Mobile Web iOS变体移除
除更新抓取器IP信息外,Google还同步调整了爬虫名单,正式从列表中移除了AdsBot Mobile Web的iOS版本。

