大数跨境

AI 训练授权:robots.txt 新标准

AI 训练授权:robots.txt 新标准 Python程序员
2026-11-06
0
导读:robots.txt 新增 `__usage_ai-training`,统一声明 AI 训练授权;附巨头时间表、2027 失效陷阱与站长实操清单。

10 月 30 日,一条消息在圈内刷屏:Anthropic 提出了一份关于 robots.txt 的新草案,Google、Microsoft、OpenAI 集体表态支持。

如果你是一个写博客的、做自媒体的,或者运营公司官网的,这条消息其实跟你息息相关——它决定了:别人能不能拿你的文章去训练 AI。

尤其是靠原创吃饭的内容创作者:你的技术教程、行业拆解、爆款观点,在模型眼里都是"优质语料"。别人拿去训练、再批量生成类似内容分流你的读者,你此前几乎毫无反制手段。

过去几年,这件事一直处于"灰色地带"。你辛辛苦苦写的东西,被爬虫默默抓走喂模型,你甚至不知道、也没处说理。现在,行业终于要立规矩了。

一个让站长破防的痛点

先说以前的麻烦。

以前没有统一标准,每个 AI 厂商都按自己的脾气来。你想拒绝某家爬你的内容做训练?那得去查这家厂商的"私有写法",一条一条单独配。

比如,Google 有自己的一套;OpenAI 爬数据用的是 GPTBot 这个 UA;Anthropic 是 ClaudeBot;微软 Bing 又是另一套。你要全面防住,robots.txt 就得写成这样:

# 以前:一家家单独写,累
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Bingbot
Disallow: /

看起来还好?但真实世界里,爬虫 UA 几十上百个,新模型还在不断冒出来。每加一家,你就得改一次文件、重新部署、祈祷自己没漏写。对个人站长来说,这根本是"防不胜防"。

更坑的是:这些规则语义还不一致。有的表示"别抓我的页面",有的表示"抓可以但别拿去训练",含糊得很。

新标准长什么样

这次的新草案,核心就一个字段:__usage_ai-training(注意是双下划线开头)。

它的思路很朴素:与其让你为每个厂商写一条规则,不如用一个"声明组"一次说清——我的内容,到底准不准拿去训练。

最简单的写法:

# 新标准:一句话管全部
User-agent: *
__usage_ai-training: none

none 意思就是:不允许任何 AI 拿我的内容做训练。

如果你反过来想"欢迎来训练",就把值改成 all:

User-agent: *
__usage_ai-training: all

更精细的玩法也支持,比如只放行某些厂商、禁止另一些。具体取值语法各家仍在收敛,写法如 openai、googlebot 等,以最终规范为准(待核实):

User-agent: *
__usage_ai-training: googlebot, openai

一句话总结:以前是"逐家拉黑",现在是"统一表态"。对站长来说,维护成本从 N 条降到 1 条。

巨头们的时间表

光有标准不够,得看谁真落地。目前几家表态如下:

  • 微软
    :计划从 2027 年 2 月 1 日起支持新标准。
  • 谷歌
    :预计 2027 年初跟进(具体日期待官方确认,待核实)。
  • OpenAI
    :承诺在未来数月内支持(时间最模糊,需持续关注,待核实)。
  • Anthropic
    :作为提案方,自然是首批。

为什么几家步调不一致?标准刚定,每家的爬取与训练链路都要做工程改造,还得兼顾搜索、广告等既有业务,难以一刀切。所以微软给的时间最硬、OpenAI 最含糊,也就不意外了。

也就是说,真正"全网生效"大概率要等到 2027 年。但规矩定了,趋势就不可逆——越早声明,越能占主动。

别忽视一个失效陷阱

这里有个容易踩的坑,尤其要提醒老站长。

过去很多年里,大家习惯用 NoArchive 或 NoCache 这两个标签,顺带表达"别缓存、也别拿我训练"的意思。不少站长就是靠它们"隐性"拒绝训练。

但微软已经明确:2027 年 3 月 1 日起,NoArchive / NoCache 将不再承载"训练含义"。

换句话说,到了那天,你还指着这两个标签说"我禁止训练",就失灵了。如果你的站点之前是靠它们"防训练"的,必须赶在 2027/3/1 之前,把声明切到新的 __usage_ai-training 标准上,否则等于门户大开。特别是那些建站多年、从没认真动过 robots.txt 的老博客,最容易在这个节点无声无息地踩雷。

这条不是危言耸听:微软给了大约一年的过渡期,但时间点卡得很死,别等临期才手忙脚乱。

现在该怎么配

那作为站长,今天就能做点什么?我的建议是"新老并用,平滑过渡":

  1. 先用新标准声明意图
    。哪怕现在只有微软明确会读,先把 __usage_ai-training 写进 robots.txt,等于提前占坑。
  2. 保留原有各大厂规则过渡
    。新标准普及需要时间,老写法(GPTBot、ClaudeBot 等)先别急着删,双轨运行最稳妥。
  3. 监控爬虫 UA
    。定期看日志里哪些 AI 爬虫在光顾你的站,对照你的声明,发现"说了不让还硬爬"的就拉黑 UA。
  4. 关注官方更新
    。OpenAI 的"数月内"、谷歌的具体日期都是浮动时间,订阅几家官网公告,别凭旧记忆配置。

举个身边的例子:一个写 Python 教程的技术博主,以前只靠 NoArchive 默默"防训练"。换成上面的过渡版配置后,相当于同时给微软、谷歌、OpenAI 都发了明确信号。这就好比给自家院门贴了张访客须知——欢迎来看,但别举着相机照搬去开班,一句话省去反复扯皮。

一条相对稳妥的"过渡版"配置长这样:

# 过渡期:新标准 + 老规则双保险
User-agent: *
__usage_ai-training: none

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

给你的实操清单

最后划个重点,给忙的站长一份清单:

  • ✅ 今天就把 __usage_ai-training 加进 robots.txt(值选 none 或 all)。
  • ✅ 别删旧规则,新老并存到 2027 全网落地。
  • ⏰ 记住两个日期:2027/2/1 微软生效、2027/3/1 旧标签失效。
  • 🔍 定期查爬虫日志,盯紧 UA。
  • 📌 2027/3/1 前务必完成从 NoArchive/NoCache 的迁移。

AI 训练授权这件事,本质是"你的内容你做主"。标准刚落地,现在动手,刚好卡在窗口期。毕竟,等别人都来敲门了,你再立"谢绝参观"的牌子,多少有点晚了。

Python程序员

有料有趣的技术公众号


美编二维码.jpg

扫码关注、一同进步


欢迎点击左下角「阅读原文」,获取更多 Python 干货。

【声明】内容源于网络
0
0
Python程序员
1234
内容 2525
粉丝 0
Python程序员 1234
总阅读0
粉丝0
内容2.5k