
Google 近日在其爬虫及用户代理列表中新增了一款名为 GoogleOther 的通用爬虫。该工具旨在供各产品团队抓取网站公开内容,主要用于内部研发等非索引构建任务,以优化核心搜索引擎爬虫的资源分配。
GoogleOther 爬虫功能与定位
Google 官方将 GoogleOther 定义为一种通用爬虫,适用于一次性爬取等内部研发场景。其用户代理令牌为“GoogleOther”,完整字符串亦同。在技术层面,该爬虫始终遵守 robots.txt 规则(包括针对全局用户代理 * 的规则),并共享与 Googlebot 相同的 IP 地址段。
释放 Googlebot 爬取容量
Google 工程师 Gary Illyes 表示,引入 GoogleOther 的核心目的是为 Googlebot 减负。未来,Googlebot 将专注于构建搜索索引这一核心任务,而历史由 Googlebot 承担的研发类、测试类爬取工作将转移至 GoogleOther。
Illyes 强调,这对网站管理员而言属于无操作变更。GoogleOther 沿用 Googlebot 的基础设施,具备相同的主机负载限制、HTTP 协议版本及抓取大小限制等功能,本质上可视为执行非索引任务的专用爬虫。
典型应用场景示例
根据官方说明,GoogleOther 主要用于替代过去使用 Googlebot 进行的随机性学习或验证任务。例如,当需要统计有多少网站要求提供 Accept-Language 请求头时,此类一次性调研任务将由 GoogleOther 执行,从而确保 Googlebot 资源不被非核心业务占用。
目前,Google 尚未明确说明该爬虫是否会被应用于 Bard 等产品中。

