大数跨境

Google-Extended 是用于阻止 Bard 或 Google AI 的新版 Google 爬虫

Google-Extended 是用于阻止 Bard 或 Google AI 的新版 Google 爬虫 谷歌google快讯
2023-09-29
0
导读:Google 宣布推出一个新的 Googlebot,即名为 Google-Extended 的新版 Google 爬虫,您可以使用它来控制您的内容是否有助于改善 Bard 和 Vertex AI 生成

Google推出Google-Extended:精准控制AI训练内容抓取

Google近日宣布推出新版爬虫用户代理“Google-Extended”,旨在帮助网站管理员精确管理其内容是否被用于训练Bard、Vertex AI生成式API及未来其他Google AI产品。此举为出版商提供了在保留搜索引擎索引的同时,独立管控AI模型训练数据的新途径。

核心机制与搜索索引分离

Google-Extended是一个独立的控制令牌,而非实际执行抓取的爬虫。Google仍会通过标准的Googlebot进行网页抓取和索引。该工具仅作为信号传达给Google系统,指示不要将指定内容用于AI模型训练。这意味着网站可以继续保持正常的搜索排名与收录,同时禁止相关内容进入Bard等AI产品的训练数据集。

对于搜索结果(包括Search Generative Experience实验项目)的内容管理,站长应继续沿用robots.txt中的Googlebot指令或NOINDEX元标签,无需使用Google-Extended。

技术实现方式

Google-Extended不拥有独立的HTTP请求用户代理字符串,实际爬取行为仍沿用现有Google用户代理标识。网站管理员只需在robots.txt文件中添加针对“Google-Extended”的Disallow规则,即可实现对AI训练内容的访问控制。这一机制类似于Google News爬虫的工作模式,即通过特定令牌传递内容使用权限,而非改变底层抓取逻辑。

行业趋势跟进

此次更新紧随Microsoft Bing之后。此前一周,Bing已提供类似选项以阻止Bing Chat AI使用网站内容。Google-Extended的推出标志着主流搜索引擎正逐步建立标准化的AI内容授权协议,赋予内容创作者对生成式AI模型训练的更大自主权。

【声明】内容源于网络
0
0
谷歌google快讯
谷歌官方更新资讯
内容 3766
粉丝 0
谷歌google快讯 谷歌官方更新资讯
总阅读451
粉丝0
内容3.8k