
Google更新抓取频率文档:新增Retry-After标头指引
Google近日更新了《降低Google抓取频率》官方文档。此次更新主要对页面结构进行了重组,并在“紧急减少爬虫流量”章节中新增了关于Retry-After HTTP标头的详细说明与示例,旨在帮助网站管理员在紧急情况下更高效地管理爬虫访问。
Retry-After标头使用规范
根据更新后的文档,当服务器返回503或429状态码时,网站可包含Retry-After HTTP标头(遵循RFC 9110标准),以明确指示Googlebot何时重试请求。该标头支持两种时间格式:
- 延迟秒数:指定爬虫需等待的秒数。
- 绝对时间:指定具体的UTC日期和时间。
Google同时提供了相关配置示例代码供参考:

机制说明与SEO影响
此次文档更新并未引入新的限流机制,底层抓取控制逻辑保持不变。Google此前已支持通过500、503及429响应信号来调节抓取频率。本次调整将Retry-After标头确立为显式附加信号,使网站所有者在使用503或429状态码时,能更精准地向Googlebot传达恢复抓取的时间预期,从而提升紧急限流场景下的沟通效率。

