Google 搜索关系团队 Gary Illyes 在最新一期 Search Central 视频中指出，依据互联网标准 RFC 9309，robots.txt 仅规范爬虫可请求的 URL，不约束爬取后的内容用途。若需排除特定 AI 爬虫并允许其他爬虫访问，必须在文件中针对该爬虫的用户代理令牌（user-agent token）进行明确设置。
本期《The Non-Canonical Cabinet》由 Illyes 与 Cherry Prommawin 共同主持，旨在解答社区边缘案例问题。Illyes 同时也是 IETF 相关草案的共同作者，该草案致力于为 robots.txt 建立声明使用偏好的标准方式。Prommawin 则建议，针对非 Google 爬虫，涉及非英文字符的规则路径应采用百分号编码格式。
robots.txt 无法限制 AI 训练用途
针对“能否通过 robots.txt 允许 AI 爬取但禁止用于模型训练”的问题，Illyes 明确表示，RFC 9309 将 robots.txt 定义为访问偏好协议，并不规定系统获取数据后的操作行为。若要完全阻止特定 AI 爬虫访问网站，必须在文件中明确指定其用户代理令牌。
视频中展示的自定义指令（如 No-AI-Chicken-Training）会被解析器忽略。根据 Google 规范，robots.txt 仅支持 User-Agent、Allow、Disallow 和 Sitemap 四个元素，无效行将被自动过滤。此外，RFC 9309 第 2.2.4 节允许爬虫自行决定如何处理协议范围外的记录，因此添加额外指令是否生效完全取决于具体爬虫的实现逻辑。
Google-Extended 令牌的作用与局限
Google-Extended 是 Google 提供的专用控制令牌，无独立用户代理，依附于现有爬虫运行。该令牌主要用于管理爬取内容是否可用于训练 Gemini 模型及 Vertex AI 的事实依据（Grounding）。官方文档强调，Google-Extended 不影响网站在 Google 搜索中的收录与排名，仅为内容使用层面的控制手段，这一机制源于 Google 产品文档而非 RFC 9309 标准。
IETF 草案拟新增 Content-Usage 规则
Illyes 参与起草的 IETF 文档计划更新 RFC 9309，引入 Content-Usage 规则及匹配 HTTP 头。在该草案中，Allow 和 Disallow 继续控制 URL 访问权限，而 Content-Usage 则定义内容使用偏好。例如，文件中可包含“train-ai=n”字段以表达禁止训练意图，同时仍允许爬取。
需注意，该草案目前仍处于工作组阶段，尚未提交 IESG 审查，预计送审时间为 2026 年 8 月。其中涉及的“train-ai”标签出自另一份未达成共识的词汇表草案，现阶段不具备标准效力。
非英文路径建议使用百分号编码
Prommawin 提醒，对于包含非英文字符或表情符号的路径，应在 robots.txt 中使用百分号编码版本。虽然 Google 解析器能同等处理原始 UTF-8 字符与编码形式，且 RFC 9309 语法也支持 UTF-8，但网络上的其他或老旧爬虫可能无法正确识别原始字符，导致规则失效。采用百分号编码是兼容性更强、更安全的标准化做法。
核心要点总结
当前在 robots.txt 中平衡 AI 内容使用与搜索可见性，需区分对象：通过 Disallow 语句可阻止特定 AI 爬虫访问；针对 Gemini 等 Google 产品，可使用 Google-Extended 令牌控制训练与事实依据用途。目前尚无通用的、独立于爬虫访问权的内容使用偏好表达方式，相关标准仍在制定中。
对于多语言网站，务必对 robots.txt 中的非英语路径进行百分号编码。尽管 Google 对此兼容，但为确保全网爬虫的正确解析，遵循编码规范是最佳实践。
后续关注方向
下一期节目将探讨 404 状态码相关问题。当前的 Content-Usage 草案有效期至 2027 年 2 月 20 日，未来若有新修订版发布，将以最新版本为准。
来源：Google