Google在其爬虫文档中新增了一个名为Google-CloudVertexBot的机器人。该爬虫专为Vertex AI商业客户服务,仅在网站所有者明确请求时才会对目标站点进行抓取。
Vertex AI代理机制
Google-CloudVertexBot与传统的Google搜索或广告爬虫不同,它专门服务于Vertex AI客户的内容获取需求。根据官方文档,Vertex AI Agent Builder支持多种数据存储类型,其中“公共网站数据”是核心数据类型之一。
针对网站数据的爬取,系统提供两种索引模式:
- 基本网站索引
- 高级网站索引
索引模式与验证要求
文档指出,网站数据存储基于从公共域名抓取的文本、图像及元数据构建搜索或推荐服务。两种索引模式的具体区别如下:
- 基本网站索引:利用Google已有的公开抓取内容子集,无需网站所有者额外验证。
- 高级网站索引:必须使用新的Google-CloudVertexBot,且需要完成域名验证并受索引配额限制。
由此可见,新爬虫并非主动抓取全网公开信息,而是严格遵循“按需抓取”原则,仅响应特定网站所有者的授权请求。
更新日志与识别标识
Google在更新日志中明确了引入该爬虫的目的:帮助网站所有者准确识别来自Vertex AI智能体构建过程中的流量。其技术识别特征如下:
- 用户代理令牌(User-Agent Token):Google-CloudVertexBot、Googlebot
- 用户代理子串:Google-CloudVertexBot
Robots.txt配置建议
鉴于Google-CloudVertexBot仅在获得网站所有者授权后才执行爬取任务,不会擅自索引公开网站内容,因此通常无需在robots.txt文件中对其进行屏蔽。网站管理员可根据实际业务需求,通过用户代理字符串精准识别并管理相关流量。

