同一台机器，官网上往往有三份资料。商品页写工作电压，安装指南解释接线方法，经销商后台还有一份底价表。有人在 ChatGPT 问「这台机器接 110V 能不能用」，能帮他的是前两份。底价表则应该继续只给有权限的人看。
公开页面也能按用途分开。可以让 OAI-SearchBot 读取公开规格，同时用 GPTBot 的规则拒绝训练抓取。 这样保留了网页参与 ChatGPT 搜索的机会。网页是否被用作某条答案的来源，还要看具体问题和内容。
10 月底，IETF 上出现了一项草案，想让站长用同一个标记向多家公司表明训练偏好。看到这条消息之后，可以先打开自己网站的 /robots.txt。有些站过去抄了一份「屏蔽所有 AI 爬虫」的清单，两个 OpenAI 爬虫都在里面。这种情况，眼下就有一条规则值得重新看。
The Verge 只给 Google-Extended 留了一个目录
我打开了科技媒体 The Verge 的公开配置。GPTBot 下面写着 Allow: /。翻到 Google-Extended，它也写了一条 Allow，但只给了 /sp/，其余路径写的是 Disallow: /。
斜杠 / 代表整个网站的路径范围。单独写一个更具体的路径，就能把它从全站规则里划出来。比如按这份公开文件，一篇位于 /news/ 的文章在 Google-Extended 的禁止范围里，位于 /sp/ 下的地址则有例外。我们能从这份文件读出这两个范围，至于网站为什么这么配，或者厂商最后有没有使用其中的内容，文件本身没有交代。
新草案也是这个思路。它示范在 __usage_ai-training 这一组拒绝全站训练，再给 /press-kit/ 留例外，方便出版社或品牌表明哪些资料可以训练。标记写在 robots.txt 里，表达的是内容用途。真正来访问时，爬虫还得看自己对应的规则。
这里容易少看一行日期。这个标记还是草案，IETF 邮件列表已经有人讨论它以后是否会换名字。Google 的公开文档把支持时间写在 2027 年初。现在就用这一组去替换所有旧规则，原来给各家写的限制可能就丢了。
Google 搜索和 Gemini 用的是两套规则
两个 OpenAI 爬虫如果写在同一个禁止组里，要拆开才好给搜索单独留入口。换成 Google，首先要看你说的「AI 搜索」是在哪个产品里。
Google 搜索结果页里的 AI Overviews 和 AI Mode 属于 Google 搜索。要有机会成为回答里的一条链接，网页得能进入 Google 索引，且具备在搜索结果里展示摘要的资格。你改 Google-Extended，本身不改 Google 搜索收录和排名。
Gemini 应用又是另一处。Google-Extended 同时涉及 Gemini 的部分训练用途，以及 Gemini 应用或指定 Vertex AI 服务用网页给回答提供依据。也就是说，如果你靠 Google-Extended 拒绝这些训练用途，相关 Gemini 回答也可能少了使用该内容的入口。 目前的文档没有给出一个只关其中训练、继续放行该依据用途的独立开关。看到一张把所有爬虫都分成「训练」和「引用」两列的表时，这个例外尤其容易漏掉。
先拿商品页、指南和经销商页各试一次
假设公开商品放在 /products/，安装教程放在 /guides/，经销商资料在 /partners/。这家示例站希望前两个目录保留 ChatGPT 搜索入口，同时对全站拒绝 GPTBot。对应的两组可以这样写。
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Disallow: /
Allow: /products/
Allow: /guides/
拿三个具体地址试读这份示例，比只看文件里有没有 Allow 更容易发现漏放。
|
|
|
|---|---|
/products/motor-a/ |
|
/guides/voltage/ |
|
/partners/price-sheet/ |
|
换成自己的站，先存一份现行文件，再找已有的两个爬虫组。尤其注意多语言地址。英文商品如果实际在 /en/products/，上面的 /products/ 就没有覆盖它。把站点真实使用的地址列出来，逐条写下你希望允许还是禁止，再决定改哪一组。原有的 Googlebot、后台路径和 Sitemap 继续照站点的需要处理。
可以让 Codex 先给一份改前改后对照
只读核对我提供的 robots.txt，先给改动建议。
输入是当前文件、公开网页清单和拟排除的路径。
逐条列出 OAI-SearchBot 和 GPTBot 命中的规则、
预期结果及与现行配置的差异。
单独标出语言前缀、重复分组和意外放行的目录。
建议只列最小改动，保留其余爬虫组和 Sitemap。
部署后，先打开这些网页实际所在主机的 /robots.txt。如果商品在带 www 的域名下，浏览器直接打开那台主机的文件，确认对照表里的规则已经上线。读到的还是旧文件时，先查发布位置和 CDN 缓存，暂时不用改商品正文。
OpenAI 说，搜索系统适应 robots.txt 更新可能需要约 24 小时。之后如果日志里有这条商品页的 403，先用 OpenAI 公布的 IP 范围核实请求身份，再到 CDN 或防火墙查拦截。若返回 200，顺手看实际响应是商品正文还是验证页。两种响应都可能在浏览器里打开，只有前者提供了买家问的规格。
等公开商品和指南都能按预期访问，再用最初那句「这台机器接 110V 能不能用」观察搜索答案。这个问题最适合查内容有没有接住需求。规格如果藏在模糊的图片里，就算爬虫能访问，也值得把电压和适用型号补进网页正文。