
Google 更新开源 robots.txt 解析器代码
Google 近日更新了 GitHub 上的开源 robots.txt 解析器代码。该解析器最初于 2019 年发布,此次更新由 Google 工程师 Gary Illyes 推送至仓库。
新增解析信息导出功能
Gary Illyes 表示,新版解析器已在 Google 内部使用一段时间,现正式对外开源。此次更新引入了 Parser 类新功能,支持导出 robots.txt 正文的解析信息,并配套新增访问库。该库此前已长期应用于 Google Search Console(配合 Java 端口),运行稳定。若开发者在使用过程中发现问题,可通过 GitHub 提交反馈。
解析器二十年演进历程
该 C++ 库源于 Google 生产系统,用于解析和匹配 robots.txt 规则,历史长达 20 年,部分代码可追溯至 20 世纪 90 年代。随着对网站管理员编写习惯及边缘案例理解的加深,该库持续迭代优化,相关经验也被纳入互联网草案标准中。

