10 月 30 日,一条消息在圈内刷屏:Anthropic 提出了一份关于 robots.txt 的新草案,Google、Microsoft、OpenAI 集体表态支持。
如果你是一个写博客的、做自媒体的,或者运营公司官网的,这条消息其实跟你息息相关——它决定了:别人能不能拿你的文章去训练 AI。
尤其是靠原创吃饭的内容创作者:你的技术教程、行业拆解、爆款观点,在模型眼里都是"优质语料"。别人拿去训练、再批量生成类似内容分流你的读者,你此前几乎毫无反制手段。
过去几年,这件事一直处于"灰色地带"。你辛辛苦苦写的东西,被爬虫默默抓走喂模型,你甚至不知道、也没处说理。现在,行业终于要立规矩了。
一个让站长破防的痛点
先说以前的麻烦。
以前没有统一标准,每个 AI 厂商都按自己的脾气来。你想拒绝某家爬你的内容做训练?那得去查这家厂商的"私有写法",一条一条单独配。
比如,Google 有自己的一套;OpenAI 爬数据用的是 GPTBot 这个 UA;Anthropic 是 ClaudeBot;微软 Bing 又是另一套。你要全面防住,robots.txt 就得写成这样:
# 以前:一家家单独写,累
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: Bingbot
Disallow: /
看起来还好?但真实世界里,爬虫 UA 几十上百个,新模型还在不断冒出来。每加一家,你就得改一次文件、重新部署、祈祷自己没漏写。对个人站长来说,这根本是"防不胜防"。
更坑的是:这些规则语义还不一致。有的表示"别抓我的页面",有的表示"抓可以但别拿去训练",含糊得很。
新标准长什么样
这次的新草案,核心就一个字段:__usage_ai-training(注意是双下划线开头)。
它的思路很朴素:与其让你为每个厂商写一条规则,不如用一个"声明组"一次说清——我的内容,到底准不准拿去训练。
最简单的写法:
# 新标准:一句话管全部
User-agent: *
__usage_ai-training: none
none 意思就是:不允许任何 AI 拿我的内容做训练。
如果你反过来想"欢迎来训练",就把值改成 all:
User-agent: *
__usage_ai-training: all
更精细的玩法也支持,比如只放行某些厂商、禁止另一些。具体取值语法各家仍在收敛,写法如 openai、googlebot 等,以最终规范为准(待核实):
User-agent: *
__usage_ai-training: googlebot, openai
一句话总结:以前是"逐家拉黑",现在是"统一表态"。对站长来说,维护成本从 N 条降到 1 条。
巨头们的时间表
光有标准不够,得看谁真落地。目前几家表态如下:
- 微软
:计划从 2027 年 2 月 1 日起支持新标准。 - 谷歌
:预计 2027 年初跟进(具体日期待官方确认,待核实)。 - OpenAI
:承诺在未来数月内支持(时间最模糊,需持续关注,待核实)。 - Anthropic
:作为提案方,自然是首批。
为什么几家步调不一致?标准刚定,每家的爬取与训练链路都要做工程改造,还得兼顾搜索、广告等既有业务,难以一刀切。所以微软给的时间最硬、OpenAI 最含糊,也就不意外了。
也就是说,真正"全网生效"大概率要等到 2027 年。但规矩定了,趋势就不可逆——越早声明,越能占主动。
别忽视一个失效陷阱
这里有个容易踩的坑,尤其要提醒老站长。
过去很多年里,大家习惯用 NoArchive 或 NoCache 这两个标签,顺带表达"别缓存、也别拿我训练"的意思。不少站长就是靠它们"隐性"拒绝训练。
但微软已经明确:2027 年 3 月 1 日起,NoArchive / NoCache 将不再承载"训练含义"。
换句话说,到了那天,你还指着这两个标签说"我禁止训练",就失灵了。如果你的站点之前是靠它们"防训练"的,必须赶在 2027/3/1 之前,把声明切到新的 __usage_ai-training 标准上,否则等于门户大开。特别是那些建站多年、从没认真动过 robots.txt 的老博客,最容易在这个节点无声无息地踩雷。
这条不是危言耸听:微软给了大约一年的过渡期,但时间点卡得很死,别等临期才手忙脚乱。
现在该怎么配
那作为站长,今天就能做点什么?我的建议是"新老并用,平滑过渡":
- 先用新标准声明意图
。哪怕现在只有微软明确会读,先把 __usage_ai-training写进 robots.txt,等于提前占坑。 - 保留原有各大厂规则过渡
。新标准普及需要时间,老写法(GPTBot、ClaudeBot 等)先别急着删,双轨运行最稳妥。 - 监控爬虫 UA
。定期看日志里哪些 AI 爬虫在光顾你的站,对照你的声明,发现"说了不让还硬爬"的就拉黑 UA。 - 关注官方更新
。OpenAI 的"数月内"、谷歌的具体日期都是浮动时间,订阅几家官网公告,别凭旧记忆配置。
举个身边的例子:一个写 Python 教程的技术博主,以前只靠 NoArchive 默默"防训练"。换成上面的过渡版配置后,相当于同时给微软、谷歌、OpenAI 都发了明确信号。这就好比给自家院门贴了张访客须知——欢迎来看,但别举着相机照搬去开班,一句话省去反复扯皮。
一条相对稳妥的"过渡版"配置长这样:
# 过渡期:新标准 + 老规则双保险
User-agent: *
__usage_ai-training: none
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
给你的实操清单
最后划个重点,给忙的站长一份清单:
-
✅ 今天就把 __usage_ai-training加进 robots.txt(值选none或all)。 -
✅ 别删旧规则,新老并存到 2027 全网落地。 -
⏰ 记住两个日期:2027/2/1 微软生效、2027/3/1 旧标签失效。 -
🔍 定期查爬虫日志,盯紧 UA。 -
📌 2027/3/1 前务必完成从 NoArchive/NoCache 的迁移。
AI 训练授权这件事,本质是"你的内容你做主"。标准刚落地,现在动手,刚好卡在窗口期。毕竟,等别人都来敲门了,你再立"谢绝参观"的牌子,多少有点晚了。
欢迎点击左下角「阅读原文」,获取更多 Python 干货。


