大数跨境

谷歌:防火墙或CDN问题是阻止Googlebot的最常见原因

谷歌:防火墙或CDN问题是阻止Googlebot的最常见原因 谷歌google快讯
2023-02-01
0
导读:来自谷歌的Gary Illyes在LinkedIn上发布了一则新的公共警示公告,称网站意外阻止Googlebot爬取的最常见原因是防火墙或CDN配置错误。

谷歌警示:防火墙与CDN配置错误致Googlebot爬取受阻

谷歌搜索倡导者Gary Illyes近日在LinkedIn发布警示,指出网站意外阻止Googlebot爬取的最常见原因系防火墙或CDN配置错误。Illyes强调,其收到的绝大多数相关反馈均源于此类非主观故意的流量拦截。

定期审查拦截规则并验证IP范围

针对该问题,Illyes建议站长养成定期检查防火墙及CDN拦截规则的习惯。鉴于谷歌已公开Googlebot的IP地址范围,运维人员可通过自动化程序高效筛查现有规则是否误封了Googlebot子网。

利用官方工具测试并获取服务商证明

为确保网站对Googlebot的可访问性,建议采取以下措施:

  • 使用Google Search Console中的“网址检查”工具进行实时测试;
  • 联系CDN或防火墙服务商确认已放行Googlebot流量,并要求提供相应白名单证明。
【声明】内容源于网络
0
0
谷歌google快讯
谷歌官方更新资讯
内容 16664
粉丝 0
谷歌google快讯 谷歌官方更新资讯
总阅读521
粉丝0
内容16.7k