
Google明确:robots.txt返回4xx状态码将被忽略
Google技术专家Gary Illyes近日确认,若网站的robots.txt文件返回4xx HTTP状态码,Googlebot将直接忽略该文件中指定的所有抓取规则。
4xx错误等同于文件不可用
Gary在LinkedIn上回应相关投诉时指出:“如果你以403等HTTP状态码提供robots.txt,Googlebot会忽略其中所有规则。除429外,客户端错误(4xx)均意味着robots.txt不可用,此时404与403的处理逻辑等效。”
由于4xx状态码代表服务器声明文档不可访问,Google不会尝试读取或解析该文件内容,导致其中的Disallow等指令失效。
确保robots.txt返回200状态码
为保障SEO效果及爬虫正常抓取,网站管理员务必检查服务器配置,确保robots.txt文件能够稳定返回200 OK状态码,避免因配置错误导致全站抓取规则失效。

