Google、Anthropic和微软已承诺遵守一项新的 robots.txt 指令，允许出版商在生成式 AI 训练期间对内容抓取设定偏好。该提案由 Anthropic 技术标准负责人凯文·凯利（Kevin Kelley）撰写，目前正由互联网开放标准组织 IETF 审议。
正如 OpenAI 和 Google 公告所述，网站所有者此前需识别各个爬虫并添加单独规则。Kelley 的提案通过让多家 AI 公司认可统一信号来改变这一现状。发布者需在 robots.txt 文件中设置专用于 AI 训练的新用户代理（user agent），格式如下：
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
此举将阻止专门收集 AI 训练数据的爬虫。“Allow”部分允许网站运营者选择性开放特定页面（如新闻资料包 press kit）供 AI 训练抓取。但新用户代理不会完全阻止爬取或影响 Google 搜索结果展示。例如，Google 会将其解读为仅针对负责抓取 Gemini 模型训练材料的 “Google-Extended” 用户代理生效。
需注意，该指令无法撤销各公司已完成的过往抓取行为；若此前已爬取某页面，则视为已拥有其内容。该指令仅能防止未来抓取网站或特定页面。目前，Anthropic 已开始支持新指令；微软将于 2027 年 2 月 1 日起支持；谷歌计划在 2027 年初提供支持；OpenAI 则承诺在未来几个月内实施。