
谷歌警示:防火墙与CDN配置错误致Googlebot爬取受阻
谷歌搜索倡导者Gary Illyes近日在LinkedIn发布警示,指出网站意外阻止Googlebot爬取的最常见原因系防火墙或CDN配置错误。Illyes强调,其收到的绝大多数相关反馈均源于此类非主观故意的流量拦截。
定期审查拦截规则并验证IP范围
针对该问题,Illyes建议站长养成定期检查防火墙及CDN拦截规则的习惯。鉴于谷歌已公开Googlebot的IP地址范围,运维人员可通过自动化程序高效筛查现有规则是否误封了Googlebot子网。
利用官方工具测试并获取服务商证明
为确保网站对Googlebot的可访问性,建议采取以下措施:
- 使用Google Search Console中的“网址检查”工具进行实时测试;
- 联系CDN或防火墙服务商确认已放行Googlebot流量,并要求提供相应白名单证明。

