大数跨境

Google 搜索抓取频率文档新增 Retry-After HTTP 标头等内容

Google 搜索抓取频率文档新增 Retry-After HTTP 标头等内容 谷歌google快讯
2026-10-06
0
导读:Google 刚刚对降低 Google 抓取频率的文档进行了一些更新。大部分更改仅是对页面内容的组织结构调整,但在“紧急减少爬虫流量(针对紧急情况)”部分,Google 新增了关于如何使用 Retry

Google更新抓取频率文档:新增Retry-After标头指引

Google近日更新了《降低Google抓取频率》官方文档。此次更新主要对页面结构进行了重组,并在“紧急减少爬虫流量”章节中新增了关于Retry-After HTTP标头的详细说明与示例,旨在帮助网站管理员在紧急情况下更高效地管理爬虫访问。

Retry-After标头使用规范

根据更新后的文档,当服务器返回503或429状态码时,网站可包含Retry-After HTTP标头(遵循RFC 9110标准),以明确指示Googlebot何时重试请求。该标头支持两种时间格式:

  • 延迟秒数:指定爬虫需等待的秒数。
  • 绝对时间:指定具体的UTC日期和时间。

Google同时提供了相关配置示例代码供参考:

机制说明与SEO影响

此次文档更新并未引入新的限流机制,底层抓取控制逻辑保持不变。Google此前已支持通过500、503及429响应信号来调节抓取频率。本次调整将Retry-After标头确立为显式附加信号,使网站所有者在使用503或429状态码时,能更精准地向Googlebot传达恢复抓取的时间预期,从而提升紧急限流场景下的沟通效率。

【声明】内容源于网络
0
0
谷歌google快讯
谷歌官方更新资讯
内容 3766
粉丝 0
谷歌google快讯 谷歌官方更新资讯
总阅读451
粉丝0
内容3.8k