Google近日披露了两款针对图像和视频内容优化的新爬虫,主要用于产品研发。尽管官方未明确说明,但预计发布者若选择阻止这些爬虫,不会对搜索排名产生负面影响。需注意,这两款爬虫抓取的数据并非用于AI训练(该用途属于Google-Extended爬虫)。
GoogleOther爬虫概述
此次更新的两款新爬虫是2023年4月推出的GoogleOther爬虫的衍生版本。原始GoogleOther爬虫被指定供Google产品团队使用,主要用于内部研发的一次性抓取任务。官方将其定义为“通用爬虫”,旨在从网站获取公开可访问的内容以支持研发工作。
新增两款专用变体
Google推出了两个专门用于抓取二进制数据(非文本数据)的新变体:GoogleOther-Image和GoogleOther-Video。与可在文本编辑器中查看的HTML或ASCII文件不同,这两个爬虫专注于处理图像、音频和视频等无法直接通过文本查看器打开的文件。发布者可通过robots.txt文件中的用户代理令牌来管理对这些爬虫的访问权限。
1. GoogleOther-Image
- 用户代理令牌:GoogleOther-Image、GoogleOther
- 完整字符串:GoogleOther-Image/1.0
2. GoogleOther-Video
- 用户代理令牌:GoogleOther-Video、GoogleOther
- 完整字符串:GoogleOther-Video/1.0
常规GoogleOther用户代理字符串更新
Google同步更新了常规GoogleOther爬虫的用户代理字符串。出于屏蔽目的,原有的“GoogleOther”令牌依然有效。新版字符串仅作为发送给服务器的标识数据,表明爬虫基于Chrome技术运行,版本号会随Chrome更新而定期调整(W.X.Y.Z为版本号占位符)。
更新后的完整用户代理字符串列表:
- Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36 (compatible; GoogleOther)
- Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GoogleOther) Chrome/W.X.Y.Z Safari/537.36
识别与管理建议
上述新爬虫可能会在服务器日志中出现。了解这些信息有助于站长准确识别合法的Google爬虫,并为不希望图片或视频被抓取用于研发目的的发布者提供了明确的屏蔽依据。

