
Google 近日对其爬虫及用户触发式抓取器文档进行了全面重构。为解决原有文档冗长、扩展性受限的问题,Google 将原本集中的内容拆分为多个独立页面。此次更新虽未改变核心抓取规则,但新增了各爬虫对应影响的产品说明及 robots.txt 配置示例,旨在提升文档的清晰度与实操性。
文档重构核心变化
针对每种爬取类型(如 Googlebot),新版文档增加了两个关键板块:
- 受影响产品:明确列出该爬虫行为所关联的具体 Google 产品及功能。
- robots.txt 示例组:提供标准化的代码片段,演示如何正确使用用户代理令牌进行访问控制。

各类爬虫影响范围详解
以下是各主要爬虫用户代理及其对应的产品影响范围总结:
搜索与发现类爬虫
- Googlebot:影响 Google 搜索(含 Discover、图片、视频、新闻等所有搜索功能)。
- Googlebot-Image:影响 Google 图片、Discover、视频,以及搜索结果中的图片、徽标和网站图标展示。
- Googlebot-Video:影响视频相关搜索功能及其他依赖视频内容的产品。
- Googlebot-News:影响 Google 新闻的所有界面,包括搜索“新闻”标签页及 Google 新闻应用。
购物与工具类爬虫
- Storebot-Google:影响 Google Shopping 的所有界面,包括搜索“购物”标签页。
- Google-InspectionTool:仅影响搜索结果测试工具和 Search Console 网址检查,不影响搜索收录或排名。
- APIs-Google:影响 Google API 推送通知消息的传递。
通用与研发类爬虫
- GoogleOther / Image / Video:均为通用爬虫,用于内部研发或获取公开内容,不影响任何特定 Google 产品。
- Google-CloudVertexBot:仅影响网站所有者为构建 Vertex AI 智能体而主动请求的抓取操作,不影响搜索。
- Google-Extended:独立产品令牌,用于管理网站内容是否可用于改善 Gemini 应用及 Vertex AI 生成式 API,不影响搜索收录或排名。
广告与安全类爬虫
- AdsBot-Google-Mobile / AdsBot-Google:影响 Google Ads 对网页广告质量的检查能力。
- Mediapartners-Google (AdSense):影响 Google AdSense,负责访问合作网站以匹配相关广告。
- Google-Safety:负责处理恶意软件等滥用行为检测,不受常规爬取偏好设置影响。
订阅源与辅助功能爬虫
- Feedfetcher:为 Google 新闻和 PubSubHubbub 抓取 RSS 或 Atom 订阅源。
- Google Publisher Center:获取并处理出版商提交用于 Google 新闻落地页的订阅源。
- Google Read Aloud:响应用户需求,使用文本转语音(TTS)技术获取并朗读网页内容。
- Google Site Verifier:专门用于获取 Search Console 验证令牌。
其他技术性更新
除结构重组外,Google 还补充了以下技术细节:
- 内容编码支持:新增关于爬虫支持的压缩格式说明,仅为文档完善,实际抓取行为未变。
- User-Agent 字符串修正:更新了 GoogleProducer HTTP 用户代理字符串中的 URL,确保与实际抓取器使用的值保持一致。
图片来源:Lizzi Sassman

