大数跨境

两个新的 Google 爬虫:GoogleOther-Image 与 GoogleOther-Video

两个新的 Google 爬虫:GoogleOther-Image 与 GoogleOther-Video 谷歌google快讯
2024-05-17
0
导读:谷歌在其爬虫列表中添加了两个新的 Google 爬虫(Google crawlers)。它们包括 GoogleOther-Image 和 GoogleOther-Video,属于 GoogleOthe

谷歌近日在其爬虫列表中新增两款专用机器人:GoogleOther-Image 与 GoogleOther-Video。这两款爬虫隶属于 GoogleOther 类别,专门针对图像和视频二进制数据的抓取进行优化,旨在支持谷歌内部研发需求。

新增爬虫功能定位

谷歌官方表示,新推出的 GoogleOther-Image 和 GoogleOther-Video 是 GoogleOther 的定制化版本,分别用于高效获取图像和视频字节数据。同时,谷歌更新了 GoogleOther 的用户代理字符串列表,以更准确地反映当前最活跃的版本信息。此举意在更好地服务于可能涉及研发用途的二进制数据抓取工作。

GoogleOther 爬虫体系演进

自2023年4月引入以来,GoogleOther 被定义为一种通用爬虫,供各产品团队获取网站公开内容。谷歌搜索倡导者 Gary Illyes 曾解释,该爬虫主要承担原由 Googlebot 负责的研发类抓取任务,从而释放 Googlebot 的抓取容量以专注于核心索引构建。

目前,谷歌爬虫分工明确:Googlebot 专责网页索引构建,而 GoogleOther 则处理历史遗留的其他抓取任务及内部索引辅助工作。

新爬虫技术规格详解

根据最新文档说明,两款新爬虫的具体配置如下:

  • GoogleOther-Image:专用于获取公开可访问的图像 URL。其用户代理令牌包含 GoogleOther-Image 和 GoogleOther,完整用户代理字符串为 GoogleOther-Image/1.0。
  • GoogleOther-Video:专用于获取公开可访问的视频 URL。其用户代理令牌包含 GoogleOther-Video 和 GoogleOther,完整用户代理字符串为 GoogleOther-Video/1.0。

以下是三款 GoogleOther 爬虫的识别截图:

关于抓取频率的反馈机制

针对站长关心的 GoogleOther 抓取量问题,若发现异常或需反馈具体信息,建议使用谷歌官方提供的爬取反馈表单。该渠道由负责运营谷歌爬虫的团队直接查阅和处理。

【声明】内容源于网络
0
0
谷歌google快讯
谷歌官方更新资讯
内容 3766
粉丝 0
谷歌google快讯 谷歌官方更新资讯
总阅读451
粉丝0
内容3.8k