大数跨境

Google悄然推出新AI爬虫

Google悄然推出新AI爬虫 搜索引擎报
2024-08-21
0
导读:Google为商业AI客户推出了一个新机器人,并为网站所有者提供了跟踪其访问的文档

Google在其爬虫文档中新增了一个名为Google-CloudVertexBot的机器人。该爬虫专为Vertex AI商业客户服务,仅在网站所有者明确请求时才会对目标站点进行抓取。

Vertex AI代理机制

Google-CloudVertexBot与传统的Google搜索或广告爬虫不同,它专门服务于Vertex AI客户的内容获取需求。根据官方文档,Vertex AI Agent Builder支持多种数据存储类型,其中“公共网站数据”是核心数据类型之一。

针对网站数据的爬取,系统提供两种索引模式:

  1. 基本网站索引
  2. 高级网站索引

索引模式与验证要求

文档指出,网站数据存储基于从公共域名抓取的文本、图像及元数据构建搜索或推荐服务。两种索引模式的具体区别如下:

  • 基本网站索引:利用Google已有的公开抓取内容子集,无需网站所有者额外验证。
  • 高级网站索引:必须使用新的Google-CloudVertexBot,且需要完成域名验证并受索引配额限制。

由此可见,新爬虫并非主动抓取全网公开信息,而是严格遵循“按需抓取”原则,仅响应特定网站所有者的授权请求。

更新日志与识别标识

Google在更新日志中明确了引入该爬虫的目的:帮助网站所有者准确识别来自Vertex AI智能体构建过程中的流量。其技术识别特征如下:

  • 用户代理令牌(User-Agent Token):Google-CloudVertexBot、Googlebot
  • 用户代理子串:Google-CloudVertexBot

Robots.txt配置建议

鉴于Google-CloudVertexBot仅在获得网站所有者授权后才执行爬取任务,不会擅自索引公开网站内容,因此通常无需在robots.txt文件中对其进行屏蔽。网站管理员可根据实际业务需求,通过用户代理字符串精准识别并管理相关流量。

【声明】内容源于网络
0
0
搜索引擎报
搜索引擎时报
内容 2933
粉丝 0
搜索引擎报 搜索引擎时报
总阅读3.4k
粉丝0
内容2.9k