Google、Microsoft 和 OpenAI 近日宣布,计划共同遵守用于 AI 训练偏好的共享 robots.txt 规则。该机制允许网站通过统一指令向所有参与方声明训练偏好,无需再为每家公司的爬虫单独编写规则。
该规则源于 Anthropic 工程师 Kevin Kelley 提交给 IETF AI 偏好工作组的互联网草案。目前该草案仍为个人提案,尚未进入官方标准化流程,但 Anthropic 已启动相关功能开发。根据三家公司的时间表,当前均暂未支持该规则行,且 Google 与 Microsoft 的具体执行策略存在差异。
共享规则行的技术原理
Kelley 的草案并未在 robots.txt 中新增指令,而是定义了名为 __usage_ai-training 的策略令牌。网站可通过标准的 Allow 和 Disallow 指令在该令牌下编写规则组。例如,若希望全站退出 AI 训练但保留新闻稿文件夹,可配置如下:
User-Agent: __usage_ai-training Disallow: / Allow: /press-kit/
该令牌基于工作组词汇草案定义,特指使用内容修改生成式 AI 模型参数的行为,不包含仅执行分类或排序等非生成式任务的模型。需注意以下技术规范:
- 未包含
__usage_ai-training组的文件表示无特定偏好; - 通配符组(User-Agent: *)无法匹配该令牌;
- 该令牌仅控制训练偏好,不影响爬虫抓取权限;
- 此前关于添加 Content-Usage 规则的草案已被搁置,以优先推进词汇标准化工作。
Google:关联 Google-Extended 指令
Google 搜索倡导者 John Mueller 确认,当网站通过共享行选择退出训练且未指定 Google-Extended 时,Google 将视同发布者禁止了 Google-Extended。Google 计划于 2027 年初正式支持该控制功能。
Google-Extended 主要用于控制内容是否可用于训练未来的 Gemini 模型,以及是否作为 Gemini Apps 和 Vertex AI 的事实依据(RAG)。明确允许 Google-Extended 的网站,其内容才有资格出现在 Gemini Apps 的回复中。需注意的是,Google-Extended 不影响网站在 Google 搜索中的收录,AI Overviews 等功能的退出仍需通过 Search Console 单独设置。
Microsoft:区分训练与事实依据
微软必应首席产品经理 Krishna Madavan 表示,微软将采用共享行,并新增独立的“AI 事实依据”偏好设置。该设置在页面级别生效,决定内容是否可用于辅助生成 AI 答案,且支持通过元标签或 HTTP 标头覆盖 robots.txt 规则。
微软的新选项包括:
- 默认允许:内容可用于事实依据;
- 禁止:完全排除在事实依据之外;
- DisallowExtended:允许在 Copilot 和必应 AI 模式中使用事实依据,但禁止通过 Web IQ 等企业级服务调用。
上述限制会降低品牌在 AI 答案中的可见度,但不影响必应搜索结果排名。微软将于 2027 年 2 月 1 日起尊重新选项,并于同年 3 月 1 日停止识别旧的 NoArchive 和 NoCache 标签。使用旧标签的网站需在 12 月 15 日前通过必应站长工具记录临时偏好,否则相关页面将默认为允许事实依据。一旦检测到新偏好设置,微软将自动忽略站点内残留的旧标签。
OpenAI 与 Anthropic 跟进计划
OpenAI 计划在未来几个月内开始尊重该信号,现有 robots.txt 政策在此期间继续有效。目前尚未明确当共享行规则与 GPTBot 规则冲突时的处理优先级。
Anthropic 尚未发布官方公告,但 Kelley 透露全服务支持尚需时间。目前 Anthropic 仅提供 ClaudeBot、Claude-User 和 Claude-SearchBot 三种爬虫控制选项。
行业影响与注意事项
共享规则行的核心价值在于简化多平台管理,但各厂商的执行范围并不一致。Microsoft 将训练与事实依据分开管理,而 Google 将其统合在 Google-Extended 下,且未提供“阻止训练但允许事实依据”的配置方法。
此外,仅微软明确替换旧有控制措施。Google、OpenAI 及 Anthropic 均表示现有控制将继续有效。因此,依赖 NoArchive 或 NoCache 限制 Copilot 使用的网站,需提前完成迁移准备。
未来展望
OpenAI 呼吁更多 AI 提供商加入该标准。Google 和 OpenAI 表示将在支持落地后公布更多细节。Kelley 的草案预计于 2027 年 5 月 3 日到期,后续计划将其设计整合至 Content-Usage 草案中提交审议。

