大数跨境

Google 更新 Google 爬虫与抓取器文档,新增影响范围与代码片段

Google 更新 Google 爬虫与抓取器文档,新增影响范围与代码片段 谷歌google快讯
2024-09-16
0
导读:Google 已彻底重组其爬虫和用户触发式抓取器的文档。此前所有内容均集中在一个页面上,现在则分散在多个页面中。大部分改动仅是内容的重新排列,但 Google 新增了各爬虫所影响的产品部分,并为每个爬

Google 近日对其爬虫及用户触发式抓取器文档进行了全面重构。为解决原有文档冗长、扩展性受限的问题,Google 将原本集中的内容拆分为多个独立页面。此次更新虽未改变核心抓取规则,但新增了各爬虫对应影响的产品说明及 robots.txt 配置示例,旨在提升文档的清晰度与实操性。

文档重构核心变化

针对每种爬取类型(如 Googlebot),新版文档增加了两个关键板块:

  • 受影响产品:明确列出该爬虫行为所关联的具体 Google 产品及功能。
  • robots.txt 示例组:提供标准化的代码片段,演示如何正确使用用户代理令牌进行访问控制。

各类爬虫影响范围详解

以下是各主要爬虫用户代理及其对应的产品影响范围总结:

搜索与发现类爬虫

  • Googlebot:影响 Google 搜索(含 Discover、图片、视频、新闻等所有搜索功能)。
  • Googlebot-Image:影响 Google 图片、Discover、视频,以及搜索结果中的图片、徽标和网站图标展示。
  • Googlebot-Video:影响视频相关搜索功能及其他依赖视频内容的产品。
  • Googlebot-News:影响 Google 新闻的所有界面,包括搜索“新闻”标签页及 Google 新闻应用。

购物与工具类爬虫

  • Storebot-Google:影响 Google Shopping 的所有界面,包括搜索“购物”标签页。
  • Google-InspectionTool:仅影响搜索结果测试工具和 Search Console 网址检查,不影响搜索收录或排名。
  • APIs-Google:影响 Google API 推送通知消息的传递。

通用与研发类爬虫

  • GoogleOther / Image / Video:均为通用爬虫,用于内部研发或获取公开内容,不影响任何特定 Google 产品。
  • Google-CloudVertexBot:仅影响网站所有者为构建 Vertex AI 智能体而主动请求的抓取操作,不影响搜索。
  • Google-Extended:独立产品令牌,用于管理网站内容是否可用于改善 Gemini 应用及 Vertex AI 生成式 API,不影响搜索收录或排名。

广告与安全类爬虫

  • AdsBot-Google-Mobile / AdsBot-Google:影响 Google Ads 对网页广告质量的检查能力。
  • Mediapartners-Google (AdSense):影响 Google AdSense,负责访问合作网站以匹配相关广告。
  • Google-Safety:负责处理恶意软件等滥用行为检测,不受常规爬取偏好设置影响。

订阅源与辅助功能爬虫

  • Feedfetcher:为 Google 新闻和 PubSubHubbub 抓取 RSS 或 Atom 订阅源。
  • Google Publisher Center:获取并处理出版商提交用于 Google 新闻落地页的订阅源。
  • Google Read Aloud:响应用户需求,使用文本转语音(TTS)技术获取并朗读网页内容。
  • Google Site Verifier:专门用于获取 Search Console 验证令牌。

其他技术性更新

除结构重组外,Google 还补充了以下技术细节:

  • 内容编码支持:新增关于爬虫支持的压缩格式说明,仅为文档完善,实际抓取行为未变。
  • User-Agent 字符串修正:更新了 GoogleProducer HTTP 用户代理字符串中的 URL,确保与实际抓取器使用的值保持一致。

图片来源:Lizzi Sassman

【声明】内容源于网络
0
0
谷歌google快讯
谷歌官方更新资讯
内容 3766
粉丝 0
谷歌google快讯 谷歌官方更新资讯
总阅读451
粉丝0
内容3.8k