Google近日推出名为“GoogleOther”的新型网络爬虫,旨在分担主搜索引擎索引爬虫Googlebot的压力,进一步优化和简化爬取操作。该通用爬虫将由Google内部各产品团队使用,专门抓取网站公开可访问的内容。
职责划分:聚焦搜索索引与研发任务分离
GoogleOther的核心职能是接管原由Googlebot执行的非核心任务,使Googlebot能专注于构建搜索索引。据Google搜索分析师Gary Illyes介绍,新增的GoogleOther将替代部分非搜索相关的爬取工作(如研究与开发R&D),从而为Googlebot释放爬取容量。Illyes强调,这对网站运营方而言属于无感变更,但有助于提升Googlebot的资源利用效率。
技术架构:共享基础设施与限制策略
GoogleOther与Googlebot共用相同的基础设施,包括主机负载限制、HTTP协议版本及抓取大小等参数。尽管使用独立的用户代理令牌并遵循robots.txt规则,其本质运行机制与Googlebot一致,可视为同一系统下的功能分化。
对SEO及网站管理的影响与应对建议
鉴于两者基础设施相同,GoogleOther的引入不会对网站产生显著影响。但为确保平稳过渡,建议网站管理者采取以下监控措施:
- 分析服务器日志:定期审查日志中GoogleOther的请求记录,掌握其抓取频率及访问页面分布。
- 更新robots.txt:根据实际需求配置针对GoogleOther的专属抓取规则,精准控制访问权限。
- 监控Search Console数据:关注抓取统计信息的变化,评估新爬虫对抓取预算及索引量的潜在影响。
- 追踪网站性能指标:监测加载时间、跳出率等关键数据,排查新爬虫是否引发异常负载或体验问题。
来源:Google

