大数跨境

Google 在技术上并不“跟随”链接,而是先提取、收集,随后再进行检查

Google 在技术上并不“跟随”链接,而是先提取、收集,随后再进行检查 谷歌google快讯
2024-08-16
0
导读:Google 的 Gary Illyes 在《Search Off The Record》播客中澄清,Google 在技术上并不“跟随”链接。相反,Google 会提取这些链接,将其收集到数据库中,然

Google 搜索倡导者 Gary Illyes 在《Search Off The Record》播客中澄清,Googlebot 在技术层面并非实时“跟随”链接,而是先提取并存储至数据库,随后再按需访问。尽管这一技术细节对常规 SEO 策略影响有限,但准确理解爬虫机制有助于优化网站架构与抓取效率。

Googlebot 链接处理机制澄清

Gary Illyes 指出,将 Googlebot 描述为“跟随”链接是一种便于理解的简化类比,但并非技术事实。实际流程中,爬虫会批量收集页面中的链接,经过优先级排序、跨协议去重等复杂处理后,再回头访问目标 URL。这种异步处理方式避免了盲目请求,提升了抓取系统的整体效能。

我们一直说 Googlebot “跟随”链接,但这并不准确。它实际上是在收集链接,然后在稍后阶段进行访问。这并非真正意义上的实时跟随,而是一个包含数据收集与后续处理的系统性过程。

为何仍使用“跟随”这一表述

尽管“跟随”一词在技术上不够严谨,但它仍是向非技术受众解释爬虫行为最简洁有效的类比。Gary 强调,简单类比具有传播价值,但在专业讨论中应保留深入解释的空间,根据受众背景灵活选择表达方式。

动态页面创建与链接提取的关系

针对动态网站通过内部链接触发页面生成的疑问,Gary 明确表示这与爬虫的链接提取机制无直接关联。当爬虫识别到有效链接后,会在后续调度中返回访问;若未访问,则会在 Search Console 中标记为“已发现,未抓取”。现代爬虫已不再采用类似 wget 的递归实时下载模式,动态页面的生成取决于服务器响应而非爬虫的即时行为。

此外,Google 在索引过程中还设有独立的链接提取系统,专门用于处理特殊或异常格式的链接,进一步保障了抓取的全面性与准确性。

【声明】内容源于网络
0
0
谷歌google快讯
谷歌官方更新资讯
内容 9318
粉丝 0
谷歌google快讯 谷歌官方更新资讯
总阅读496
粉丝0
内容9.3k