Google Gary Illyes 近日就 GoogleOther 爬虫的非搜索功能支持问题作出回应,并针对屏蔽该爬虫可能产生的后果发出警告。
什么是 GoogleOther
GoogleOther 是 Google 推出的通用爬虫,主要用于内部研发及非搜索类产品测试。与专门负责搜索、广告、图片等索引的 Googlebot 不同,它服务于各产品团队对网站公开内容的抓取需求,例如一次性爬取或新功能验证。
目前官方确认的 GoogleOther 爬虫包含以下三种类型:
- GoogleOther:用于抓取公开 URL 的通用爬虫;
- GoogleOther-Image:针对公开图片 URL 优化的爬虫;
- GoogleOther-Video:针对公开视频 URL 优化的爬虫。
GoogleOther 支持的非搜索功能
Gary Illyes 表示,除已公开信息外,无法透露 GoogleOther 具体支持哪些非搜索功能。该爬虫不绑定单一产品,用途具有高度开放性,旨在提升透明度,避免过去使用 Googlebot 进行研发抓取时造成的混淆。
他特别强调:阻止 GoogleOther 不会影响 Google 搜索排名,因为搜索索引仅依赖 Googlebot。但此举可能会对 Google 生态中的其他产品和服务产生广泛影响。
是否应该阻止 GoogleOther
鉴于缺乏具体细节,是否屏蔽 GoogleOther 需权衡利弊,目前尚无绝对标准答案。
潜在优势
- 参与新产品测试:允许爬取可能被纳入地图、购物或搜索新功能的研发测试中,有机会获得早期功能体验或流量红利;
- 服务器负载可控:GoogleOther 抓取频率通常较低,单纯为节省资源而屏蔽并非必要理由;
- 不影响 AI 训练:若担心内容被用于 AI 模型训练,需注意 GoogleOther 与此无关。Google 用于 Gemini 及 Vertex AI 训练的专用爬虫为 Google-Extended。
潜在风险
- 隐私与安全顾虑:若网站存在敏感信息或反垃圾策略相关内容,允许未知目的的爬取可能存在风险;
- 数据使用权让渡:允许 GoogleOther 访问相当于授权 Google 以未明确的方式使用网站数据,这可能涉及内部机器学习模型训练或非公众产品的市场调研;
- 不可控性:由于缺乏具体用途说明,站长难以评估数据被使用的实际场景。
总结
是否阻止 GoogleOther 取决于站点对数据控制权与潜在收益的权衡。虽然屏蔽操作不会损害 SEO 表现,但也可能错失参与 Google 生态创新的机会。建议站长根据自身业务敏感度和技术需求审慎决策。

