Google近日发布新版Robots.txt复习指南，旨在帮助发布者和SEO人员精准控制搜索引擎爬虫及其他合规机器人的抓取行为。该文档涵盖阻止特定页面（如购物车）、限制指定机器人访问及通过简易规则管理爬取等实操示例。
从基础到高级：全面解析Robots.txt
新文档由浅入深地介绍了Robots.txt的定义、功能及其对网站管理的价值。作为拥有30年历史且被广泛支持的网络协议，Robots.txt具有极高的稳定性。
针对缺少Robots.txt文件导致Google Search Console（GSC）报404错误的情况，官方表示这属于正常现象。若需消除警告，可选择等待30天让其自动消失，或创建一个空的Robots.txt文件，两者均符合Google规范。
“如果你的整个网站都可以被抓取，你可以让robots.txt文件为空（或者根本不需要该文件），也可以添加规则来管理爬取行为。”
在基础应用之外，文档还详细阐述了Robots.txt的高级用法：
- 针对不同爬虫设置差异化规则；
- 支持拦截URL模式（如PDF文件或搜索结果页）；
- 实现对特定机器人的精细化控制；
- 允许在文件中添加注释以辅助内部文档管理。
Robots.txt本质为纯文本文件，编辑便捷，仅需简单文本编辑器即可操作。目前主流内容管理系统均提供编辑入口，同时市面上也有多种工具可用于验证语法正确性。