
近日,Google从搜索开发者文档中移除了Robots.txt FAQ帮助页面。针对这一变动,Google的John Mueller回应称,文档更新属正常维护流程,若用户发现内容缺失可提交反馈,并明确强调“Robots.txt协议依然有效”。目前,原FAQ页面已重定向至Google robots.txt主帮助页。
Google Robots.txt FAQ核心要点回顾
尽管官方文档已调整,但基于历史存档,以下是关于robots.txt及索引控制的关键技术规范总结:
基础配置与文件规范
- 非必须文件:网站并非必须包含robots.txt文件。若无该文件、robots meta标签或X-Robots-Tag HTTP标头,搜索引擎通常会正常爬取和索引网站。
- 存放位置:robots.txt文件必须置于网站根目录(最顶层),不支持子目录存放。
- 路径规则:除sitemap指令外,文件内的规则仅支持相对路径,不可使用完整URL。
- 默认允许:无需显式添加Allow规则,所有URL默认允许爬取;Allow规则仅用于覆盖同文件中的Disallow规则。
- 隐私安全:robots.txt文件是公开的,切勿将私有文件夹路径列入其中以防止被读取。不建议根据User-Agent提供不同版本的robots.txt。
爬虫控制方法选择
针对不同需求,应选择正确的控制手段:
- robots.txt:主要用于解决服务器负载问题(如禁止爬取无限日历脚本)。注意:不要用它来阻止私人内容(应使用服务端验证)或处理规范化问题;它也不能保证页面不被索引。
- robots meta标签 / X-Robots-Tag:用于精确控制单个HTML页面或非HTML资源在搜索结果中的显示与否。若需确保某URL不被索引,应优先使用这两者。
- 无法移除他人网站:上述方法仅适用于您拥有代码修改权限的网站。
索引控制与生效机制
- 屏蔽抓取不等于移除索引:通过robots.txt禁止抓取可能导致页面从索引中消失,但Google仍可能因外部链接等因素在结果中展示该URL。若需彻底禁止索引,请使用noindex meta标签或X-Robots-Tag,且此时不应在robots.txt中禁止抓取该页面,否则爬虫无法读取到noindex指令。
- 生效时间:robots.txt缓存刷新通常需一天,可通过Search Console提交更新以加速。但抓取和索引过程复杂,具体生效时间不确定。如需快速移除已屏蔽页面,请提交移除请求。
- 大小写敏感:robots.txt规则区分大小写。对于不区分大小写的服务器,建议使用URL规范化,或在规则中列出常见的大小写组合/缩写。
- 容错性:爬虫对robots.txt中的细微错误通常具有容错性,会忽略无效规则,但建议创建后务必使用测试工具验证。
临时暂停与状态码处理
- 全站暂停抓取:建议对所有URL(含robots.txt)返回503 Service Unavailable状态码,而非修改robots.txt禁止抓取。
- 403 Forbidden误区:若对robots.txt返回403或其他4xx状态码,爬虫会将其视为文件不存在,从而假定可以抓取全站。要阻止抓取,robots.txt必须返回200 OK并包含有效的Disallow规则。
- 爬取速率调整:可在Google Search Console中调整爬取速率设置。
Meta标签与HTTP标头详解
- 不可替代关系:robots meta标签不能替代robots.txt。前者控制索引,后者控制访问。若页面存在性能问题,必须先通过robots.txt限制访问。
- 作用范围:robots meta标签是页面级设置,无法阻止页面部分内容被索引;必须位于HTML的head部分。
- Noindex仍需抓取:即使设置了noindex,爬虫仍需定期重新抓取该URL以确认标签是否变更。
- Nofollow区别:nofollow meta标签作用于页面所有链接,rel="nofollow"属性仅作用于特定链接。
- 检查工具:可使用Google Search Console的URL检查工具或第三方Server Header Checker查看X-Robots-Tag响应头。
此次文档调整可能是Google为了整合冗余信息。对于SEO从业者而言,理解上述底层逻辑比依赖单一FAQ页面更为重要。Robots.txt作为爬虫交互的基础协议,其核心功能与最佳实践并未改变。

