
Google 更新爬虫文档:明确 Google-Extended 不影响搜索排名
Google 近日更新了关于 Google 爬虫(用户代理)的搜索文档,将其中“Bard”相关表述替换为“Gemini”,并新增说明:“Google-Extended 不会影响网站在 Google 搜索中的收录或排名。”此举旨在消除发布商对 AI 数据抓取与搜索引擎表现之间关联的疑虑。
Google-Extended 的功能定位
Google-Extended 是独立的产品 Token,供网络发布商控制其网站内容是否用于改进 Gemini Apps(原 Bard)及 Vertex AI 生成式 API,包括支持未来模型训练。该 Token 仅用于 AI 产品授权管理,不涉及 Google 搜索算法或 SGE(搜索生成体验)的内容展示逻辑。
技术实现机制
Google-Extended 不拥有独立的 HTTP 请求用户代理字符串,爬取操作仍沿用现有 Google 用户代理标识,通过 robots.txt 中的对应 Token 进行权限控制。此次文档修订基于产品名称变更及发布商反馈,进一步厘清了 AI 数据使用与搜索排名之间的界限。

