Google宣布将于2024年1月8日正式停用Search Console中的爬取速率限制器工具。官方表示,随着爬取技术的持续优化,该工具已失去存在的必要性。
爬取速率限制器工具的历史与作用
该工具于2008年上线,旨在帮助网站管理员控制Googlebot的抓取频率,防止因请求过多导致服务器过载或影响正常用户访问。此前,由于部分站点频繁遭遇抓取压力,Google才在Search Console中推出了这一功能。
根据过往机制,提交限速请求通常需要约一天时间生效,且有效期为90天。该工具的主要作用是为Google提供服务器负载反馈数据。
移除原因及后续调整策略
Google指出,当前的爬取算法已具备智能感知能力,能够自动识别服务器是否接近容量上限,并即时降低抓取速率以保障站点稳定。数据显示,该工具使用率极低,且即便被使用,设置也多为最低档位。
为替代原有功能,Google将默认最小爬取速率调整为更低水平,以匹配过去用户常用的保守参数。官方明确表示:“若搜索兴趣较低且爬虫不会浪费带宽,我们将继续尊重网站所有者过去设置的限速逻辑。”
简化控制台体验与反馈渠道
移除低频使用的工具有助于精简Search Console界面,提升整体操作体验。对于仍面临抓取速率问题的站长,可通过Googlebot报告表单直接向Google反馈具体情况。

