
Google 更新 robots.txt 文档:明确不支持 crawl-delay 等字段
为减少开发者疑问,Google 在 robots.txt 官方文档的语法部分新增说明,明确指出未在文档中列出的字段(如 crawl-delay)不受支持。此举旨在澄清常见误区,避免无效配置。
文档修订内容对比
新增内容位于语法章节,具体表述为:“其他字段(如 crawl-delay)不受支持”。以下是修改前后的视觉对比:

更新后的文档显示如下:

专家建议与最佳实践
Google Webmaster/Search Console 社区 Silver Product Expert Jaskaran Singh 强调,若使用 crawl-delay 等未获支持的指令,Googlebot 将直接忽略。为确保网站按预期被抓取,应严格遵循官方支持的指令集。
此外,他提出两项实用建议以提升 robots.txt 规范性:
- 善用注释符号(#)增强文件可读性;
- 确保所有路径均以斜杠(/)开头,防止解析错误。

