大数跨境

Google 澄清了“Google-Extended”爬虫文档

Google 澄清了“Google-Extended”爬虫文档 搜索引擎报
2024-02-09
0
导读:Google 更新了 Google-Extended 爬虫文档并添加了新的说明

Google 近日更新了 Google-Extended 网络爬虫用户代理文档,明确了产品命名变更及其对搜索业务无影响。此次更新旨在为网站发布者提供更清晰的指引,帮助其有效管理内容在 AI 模型训练中的访问权限。

Google-Extended 用户代理机制

Google-Extended 于 2023 年 9 月推出,允许网站发布者通过 Robots Exclusion Protocol(机器人排除协议)自主控制内容抓取。该机制为发布者提供了选择退出 AI 训练数据集的途径。

尽管 Google 将其定义为“独立产品令牌”,但本质上仍属于标准用户代理范畴。根据官方说明,发布者可通过配置以下规则阻止 Google-Extended 爬取:

User-agent: Google-Extended
Disallow: /

此举使网站管理员能够决定是否将内容用于改进 Gemini Apps 及 Vertex AI 生成式 API 等产品的模型训练。

文档更新明确不影响搜索排名

针对 Bard 更名为 Gemini Apps 后的调整,Google 开发者页面变更日志对 Google-Extended 文档进行了修订。此次更新重点回应了社区关切,明确指出限制 Google-Extended 不会影响网站在 Google 搜索中的收录与排名。

更新后的指南删除了旧版 Bard 品牌表述,并新增关键声明:“Google-Extended 不会影响网站在 Google 搜索中的收录或排名。”这一措辞消除了发布者因担心 SEO 受损而不敢使用屏蔽功能的顾虑,确保了 AI 数据收集策略与搜索引擎优化策略的独立性。

【声明】内容源于网络
0
0
搜索引擎报
搜索引擎时报
内容 2299
粉丝 0
搜索引擎报 搜索引擎时报
总阅读3.0k
粉丝0
内容2.3k