
Google推出Google-Extended:精准控制AI训练内容抓取
Google近日宣布推出新版爬虫用户代理“Google-Extended”,旨在帮助网站管理员精确管理其内容是否被用于训练Bard、Vertex AI生成式API及未来其他Google AI产品。此举为出版商提供了在保留搜索引擎索引的同时,独立管控AI模型训练数据的新途径。
核心机制与搜索索引分离
Google-Extended是一个独立的控制令牌,而非实际执行抓取的爬虫。Google仍会通过标准的Googlebot进行网页抓取和索引。该工具仅作为信号传达给Google系统,指示不要将指定内容用于AI模型训练。这意味着网站可以继续保持正常的搜索排名与收录,同时禁止相关内容进入Bard等AI产品的训练数据集。
对于搜索结果(包括Search Generative Experience实验项目)的内容管理,站长应继续沿用robots.txt中的Googlebot指令或NOINDEX元标签,无需使用Google-Extended。
技术实现方式
Google-Extended不拥有独立的HTTP请求用户代理字符串,实际爬取行为仍沿用现有Google用户代理标识。网站管理员只需在robots.txt文件中添加针对“Google-Extended”的Disallow规则,即可实现对AI训练内容的访问控制。这一机制类似于Google News爬虫的工作模式,即通过特定令牌传递内容使用权限,而非改变底层抓取逻辑。
行业趋势跟进
此次更新紧随Microsoft Bing之后。此前一周,Bing已提供类似选项以阻止Bing Chat AI使用网站内容。Google-Extended的推出标志着主流搜索引擎正逐步建立标准化的AI内容授权协议,赋予内容创作者对生成式AI模型训练的更大自主权。

