大数跨境

Google的矛盾信息:Googlebot真的会“跟随”链接吗?

Google的矛盾信息:Googlebot真的会“跟随”链接吗? 搜索引擎报
2024-08-08
0
导读:Google的Gary Illyes透露,Googlebot是收集链接而非“跟随”它们,这与官方文档相矛盾。

在Google《Search Off The Record》播客最新一期节目中,分析师Gary Illyes澄清了Googlebot爬取链接的实际机制。他指出,Googlebot并非如业界普遍认为的那样实时线性跟随链接浏览网站,而是先批量收集链接再进行后续处理。

官方文档与实际机制存在差异

Illyes坦言,Google官方支持页面的描述是其“痛点”之一。尽管官方文档将爬虫定义为“通过从一个网页到另一个网页跟随链接来扫描网站的程序”,暗示其为实时主动跟随模式,但实际运作逻辑完全不同。

“在我们的网站上,我们一直说Googlebot是在跟随链接,但事实并非如此。它是在收集链接,然后回头再访问这些链接。”

这一公开宣传与技术现实的偏差,提示SEO从业者需重新审视对Google爬虫行为的既有认知。

对SEO策略的潜在影响

Googlebot“先收集、后访问”的机制对SEO实践具有多重启示:

  • 爬取预算优化:初始链接收集阶段的资源消耗可能低于预期,这为重新评估和分配爬取预算提供了新视角。
  • 站点架构调整:传统认为深层页面必须依赖连续点击才能被发现的观点或已过时。内部链接布局与站点深度规划可据此进行更灵活的优化。
  • 抓取频率理解:该机制有助于解释为何部分页面无论处于何种层级,均能获得比其他页面更高的抓取频次。

结语

虽然现有SEO最佳实践并未因此失效,但Googlebot行为的复杂性远超以往认知。从业者应深入理解搜索引擎运作的细微差别,以更精准地指导技术优化工作。

【声明】内容源于网络
0
0
搜索引擎报
搜索引擎时报
内容 2933
粉丝 0
搜索引擎报 搜索引擎时报
总阅读3.4k
粉丝0
内容2.9k