大数跨境

Google-Extended 机器人指令不适用于搜索生成式体验

Google-Extended 机器人指令不适用于搜索生成式体验 谷歌google快讯
2023-10-10
0
导读:几周前,谷歌发布了一项新的 robots.txt 指令,告知谷歌不要将您的内容用于 Bard 或其他谷歌 AI 项目。谷歌告诉我,目前搜索生成式体验(SGE)并未使用 Google-Extended。

Google-Extended指令不适用于搜索生成式体验(SGE)

近期,谷歌推出了新的robots.txt指令“Google-Extended”,旨在允许网站管理员禁止谷歌将内容用于Bard或Vertex AI等生成式AI项目。然而,经谷歌官方确认,该指令目前并不适用于搜索生成式体验(SGE)。这意味着,除非站长通过robots.txt或NOINDEX元标签完全屏蔽Googlebot,否则其内容仍可能被SGE引用并生成AI答案。

SGE仍由Googlebot管理

谷歌明确表示,Google-Extended仅针对Bard及Vertex AI生成式API的未来模型版本,不包含SGE。一位谷歌发言人指出:“SGE属于搜索实验功能,网站管理员应继续通过Googlebot用户代理配合robots.txt和NOINDEX元标签,来管理内容在搜索结果及SGE中的展示。”

例如,滚石乐队(The Rolling Stones)官网虽在robots.txt中设置了Google-Extended指令,但其内容卡片仍出现在SGE的AI生成答案中:

该网站的robots.txt文件配置如下:

行业专家格伦·加布(Glenn Gabe)也证实了这一现象。尽管部分文章已屏蔽Google-Extended,但在测试期间,相关内容依然出现在了SGE的答案摘要中。

AI是搜索功能的内在组成部分

针对为何SGE不适用Google-Extended,谷歌解释称,AI技术已深度集成于搜索核心功能之中,而非独立附加组件。自引入大型语言模型以来,AI不仅提升了搜索结果质量,还催生了Lens和多搜索等新功能,持续增强了信息匹配效率并为生态带来流量。因此,谷歌认为网络出版商可通过现有的爬取访问权限管理机制(即robots.txt)来控制SGE的内容抓取,无需单独设立指令。

【声明】内容源于网络
0
0
谷歌google快讯
谷歌官方更新资讯
内容 3766
粉丝 0
谷歌google快讯 谷歌官方更新资讯
总阅读451
粉丝0
内容3.8k