大数跨境

Google 警告屏蔽 GoogleOther 机器人

Google 警告屏蔽 GoogleOther 机器人 搜索引擎报
2024-07-26
0
导读:Gary Ilyes 警告称,屏蔽 GoogleOther “可能会影响 Google 生态中的广泛领域”

Google Gary Illyes 近日就 GoogleOther 爬虫的非搜索功能支持问题作出回应,并针对屏蔽该爬虫可能产生的后果发出警告。

什么是 GoogleOther

GoogleOther 是 Google 推出的通用爬虫,主要用于内部研发及非搜索类产品测试。与专门负责搜索、广告、图片等索引的 Googlebot 不同,它服务于各产品团队对网站公开内容的抓取需求,例如一次性爬取或新功能验证。

目前官方确认的 GoogleOther 爬虫包含以下三种类型:

  1. GoogleOther:用于抓取公开 URL 的通用爬虫;
  2. GoogleOther-Image:针对公开图片 URL 优化的爬虫;
  3. GoogleOther-Video:针对公开视频 URL 优化的爬虫。

GoogleOther 支持的非搜索功能

Gary Illyes 表示,除已公开信息外,无法透露 GoogleOther 具体支持哪些非搜索功能。该爬虫不绑定单一产品,用途具有高度开放性,旨在提升透明度,避免过去使用 Googlebot 进行研发抓取时造成的混淆。

他特别强调:阻止 GoogleOther 不会影响 Google 搜索排名,因为搜索索引仅依赖 Googlebot。但此举可能会对 Google 生态中的其他产品和服务产生广泛影响。

是否应该阻止 GoogleOther

鉴于缺乏具体细节,是否屏蔽 GoogleOther 需权衡利弊,目前尚无绝对标准答案。

潜在优势

  • 参与新产品测试:允许爬取可能被纳入地图、购物或搜索新功能的研发测试中,有机会获得早期功能体验或流量红利;
  • 服务器负载可控:GoogleOther 抓取频率通常较低,单纯为节省资源而屏蔽并非必要理由;
  • 不影响 AI 训练:若担心内容被用于 AI 模型训练,需注意 GoogleOther 与此无关。Google 用于 Gemini 及 Vertex AI 训练的专用爬虫为 Google-Extended。

潜在风险

  • 隐私与安全顾虑:若网站存在敏感信息或反垃圾策略相关内容,允许未知目的的爬取可能存在风险;
  • 数据使用权让渡:允许 GoogleOther 访问相当于授权 Google 以未明确的方式使用网站数据,这可能涉及内部机器学习模型训练或非公众产品的市场调研;
  • 不可控性:由于缺乏具体用途说明,站长难以评估数据被使用的实际场景。

总结

是否阻止 GoogleOther 取决于站点对数据控制权与潜在收益的权衡。虽然屏蔽操作不会损害 SEO 表现,但也可能错失参与 Google 生态创新的机会。建议站长根据自身业务敏感度和技术需求审慎决策。

【声明】内容源于网络
0
0
搜索引擎报
搜索引擎时报
内容 2299
粉丝 0
搜索引擎报 搜索引擎时报
总阅读3.0k
粉丝0
内容2.3k