大数跨境

如果 Google 返回 4xx 状态码,它将忽略 robots.txt 规则

如果 Google 返回 4xx 状态码,它将忽略 robots.txt 规则 谷歌google快讯
2023-01-17
0
导读:这是来自 Google 的 Gary Illyes 的另一则公告。简而言之,如果你的 robots.txt 文件返回 4xx 状态码,Google 将忽略你在该文件中指定的规则。

Google明确:robots.txt返回4xx状态码将被忽略

Google技术专家Gary Illyes近日确认,若网站的robots.txt文件返回4xx HTTP状态码,Googlebot将直接忽略该文件中指定的所有抓取规则。

4xx错误等同于文件不可用

Gary在LinkedIn上回应相关投诉时指出:“如果你以403等HTTP状态码提供robots.txt,Googlebot会忽略其中所有规则。除429外,客户端错误(4xx)均意味着robots.txt不可用,此时404与403的处理逻辑等效。”

由于4xx状态码代表服务器声明文档不可访问,Google不会尝试读取或解析该文件内容,导致其中的Disallow等指令失效。

确保robots.txt返回200状态码

为保障SEO效果及爬虫正常抓取,网站管理员务必检查服务器配置,确保robots.txt文件能够稳定返回200 OK状态码,避免因配置错误导致全站抓取规则失效。

【声明】内容源于网络
0
0
谷歌google快讯
谷歌官方更新资讯
内容 9318
粉丝 0
谷歌google快讯 谷歌官方更新资讯
总阅读496
粉丝0
内容9.3k