
Googlebot 或将支持美国境外抓取,官方澄清细节
在昨日新加坡举行的 Google Search Central Live 活动上,Google 代表 Gary Illyes 透露 Googlebot 已具备从美国境外进行抓取的潜在能力。不过,Gary Illyes 随后在 Mastodon 平台澄清称,相关报道并非其原话。他表示,目前仅是 IP 区块已完成分配并可查询归属国家,未来可能会将这些区块用于本地爬虫,但尚未全面启用。
技术现状与触发条件
尽管 Gary Illyes 对表述进行了修正,但出席活动的 Kenichi Suzuki 在 Twitter 上进一步说明了该技术的应用逻辑:Googlebot 理论上可从服务器所在国(即美国境外)发起抓取,该系统虽已上线,但目前可能并未实际投入使用。此外,该功能仅在特定条件下生效,即当目标网站阻止来自美国的访问时才会触发。
Googlebot 可以从服务器所在的国家(即美国境外)进行抓取。该系统已经上线,但可能根本未被使用。此外,仅当来自该国的外部访问被阻止时,此功能才生效。
应用场景与历史背景
这一变化印证了 Google 的 John Mueller 此前的预测,即随着需求增长,Google 抓取来源将逐步扩展。若该功能正式落地,主要适用于以下场景:
- 明确阻止美国地区 Googlebot 访问的网站;
- 针对不同国家展示差异化内容的站点;
- Google 基于地理定位判定存在可疑行为的页面。
值得注意的是,Google 曾在 2017 年表示从美国境外抓取并无显著优势,因此此类操作此前极为罕见。最新进展显示,Valentine Pletzer 证实 Google 已在官方列表中添加了部分国际 IP 地址,预示着跨境抓取策略正在调整中。


