大数跨境

2025 年谷歌面临的主要爬取挑战

2025 年谷歌面临的主要爬取挑战 谷歌google快讯
2026-02-03
0
导读:谷歌的 Gary Illyes 与 Martin Splitt 发布了一期播客,解释了谷歌在 2025 年的爬取工作中发现的主要爬取挑战。谷歌在爬取方面面临的主要挑战包括:分层导航、操作参数、无关参数

谷歌搜索倡导者Gary Illyes与Martin Splitt在最新播客中披露了2025年爬虫面临的核心挑战。分层导航、操作参数及无关参数等问题,易导致Googlebot陷入抓取循环并加重服务器负载。若无法有效识别URL空间价值,爬虫可能因过度请求致使网站响应迟缓甚至瘫痪。

2025年谷歌爬虫五大核心挑战

Gary Illyes按影响权重将当前爬取难题划分为以下五类:

分层导航(占比50%)

此类问题多发于电商网站。当用户通过价格、品类或制造商等多维度筛选排序时,会生成海量唯一URL模式。Googlebot为评估页面价值可能尝试遍历所有组合,极易引发服务器过载,严重影响站点可用性。

操作参数(占比25%)

指触发特定功能而非改变页面内容的URL参数,如“?add_to_cart=true”等。此类参数常由CMS插件自动注入,会导致URL数量成倍增加。爬虫对相同内容页面的重复抓取将造成资源浪费。

无关参数(占比10%)

包括UTM跟踪码、会话ID等通常被忽略的参数。由于难以判断这些随机字符串是否关联内容状态,Googlebot可能主动测试其有效性,尤其在参数符合标准命名规范时,无效抓取风险更高。

WordPress插件与小部件(占比5%)

部分插件或小部件集成了事件追踪等功能。受限于WordPress开源生态的多样性,此类组件产生的非标准URL结构给爬虫解析带来显著挑战。

其他技术异常(占比2%)

涵盖URL双重编码等罕见错误。例如对已编码URL再次进行百分号编码,爬虫解码后仍残留编码字符,导致页面损坏或报错,但爬虫仍会尝试处理此类无效链接。

图片来源:Lizzi Sassman

【声明】内容源于网络
0
0
谷歌google快讯
谷歌官方更新资讯
内容 98
粉丝 0
谷歌google快讯 谷歌官方更新资讯
总阅读367
粉丝0
内容98