大数跨境

Google 推出新爬虫以优化 Googlebot 的性能

Google 推出新爬虫以优化 Googlebot 的性能 搜索引擎报
2023-04-20
0
导读:Google 推出了名为 GoogleOther 的新网络爬虫,旨在优化运营、简化研发任务并减轻对 Googlebot 的压力。

Google近日推出名为“GoogleOther”的新型网络爬虫,旨在分担主搜索引擎索引爬虫Googlebot的压力,进一步优化和简化爬取操作。该通用爬虫将由Google内部各产品团队使用,专门抓取网站公开可访问的内容。

职责划分:聚焦搜索索引与研发任务分离

GoogleOther的核心职能是接管原由Googlebot执行的非核心任务,使Googlebot能专注于构建搜索索引。据Google搜索分析师Gary Illyes介绍,新增的GoogleOther将替代部分非搜索相关的爬取工作(如研究与开发R&D),从而为Googlebot释放爬取容量。Illyes强调,这对网站运营方而言属于无感变更,但有助于提升Googlebot的资源利用效率。

技术架构:共享基础设施与限制策略

GoogleOther与Googlebot共用相同的基础设施,包括主机负载限制、HTTP协议版本及抓取大小等参数。尽管使用独立的用户代理令牌并遵循robots.txt规则,其本质运行机制与Googlebot一致,可视为同一系统下的功能分化。

对SEO及网站管理的影响与应对建议

鉴于两者基础设施相同,GoogleOther的引入不会对网站产生显著影响。但为确保平稳过渡,建议网站管理者采取以下监控措施:

  • 分析服务器日志:定期审查日志中GoogleOther的请求记录,掌握其抓取频率及访问页面分布。
  • 更新robots.txt:根据实际需求配置针对GoogleOther的专属抓取规则,精准控制访问权限。
  • 监控Search Console数据:关注抓取统计信息的变化,评估新爬虫对抓取预算及索引量的潜在影响。
  • 追踪网站性能指标:监测加载时间、跳出率等关键数据,排查新爬虫是否引发异常负载或体验问题。

来源:Google

【声明】内容源于网络
0
0
搜索引擎报
搜索引擎时报
内容 5299
粉丝 0
搜索引擎报 搜索引擎时报
总阅读3.7k
粉丝0
内容5.3k