
Google宣布,用于控制网站爬取速度的旧版功能将于2024年1月8日正式下线。该功能推出已逾15年,但从未迁移至新版Search Console。Google工程师Gary Illyes表示,随着爬取逻辑的优化及新工具的完善,该功能的实用性已逐渐丧失。
旧版爬取速率限制工具停用原因
Gary指出,该工具对设置变更响应迟缓。此前Google曾提示生效可能需一天时间,但在服务器负载过高时,这种延迟可能导致严重后果。实际上,新限制应用于爬取往往需要超过24小时才能完全生效。
数据显示,极少有网站所有者使用该功能,且实际效果常未达预期。多数使用者将爬取速度设为最低限度,并未获得理想的流量管理效果。
Googlebot自动调节机制与替代方案
作为替代,Google已将Googlebot的最低爬取速率设定为更低水平,以延续对部分站长历史参数的尊重。当搜索兴趣较低时,爬虫将主动降低频率,避免浪费网站带宽。
目前,Googlebot主要依据服务器对HTTP请求的响应情况动态调整爬取速度。例如,若服务器持续返回500错误码或响应时间显著延长,Googlebot会自动且近乎实时地减缓爬取。对于无法自行管理的异常重度爬取问题,建议参考官方帮助文档进行处理。
工具界面回顾
在该工具停用前,其界面如下所示:

以下是该工具刚推出时的原始界面:


