
Google搜索控制台上线新版robots.txt报告,旧版测试工具停用
Google近日在搜索控制台(GSC)中推出了全新的robots.txt报告功能,并宣布同步停用旧的robots.txt测试器。新报告旨在帮助站长更高效地排查抓取问题,覆盖站点排名前20的主机文件状态。
新版报告核心功能与访问路径
新版robots.txt报告可展示以下关键信息:
- Google为站点前20个主机识别到的robots.txt文件;
- 文件的最后抓取时间;
- 抓取过程中遇到的警告或错误详情。
此外,页面索引报告中也将同步提供相关数据。用户可通过搜索控制台“设置”链接访问该功能。报告界面支持直接请求重新抓取robots.txt文件,便于快速验证修复效果。


旧版测试器替代方案推荐
尽管部分用户对旧版robots.txt测试器的下线表示遗憾,但业界仍有多款工具可作为有效替代,包括Bing提供的测试工具以及以下第三方服务:
- Merkle robots.txt Tester
- Ryte robots.txt Checker
- Screaming Frog SEO Spider(内置爬取验证功能)
建议站长尽快熟悉新版报告操作,并结合上述工具完成robots.txt文件的日常验证与维护工作。

