
谷歌搜索倡导者Gary Illyes与Martin Splitt在最新播客中披露了2025年爬虫面临的核心挑战。分层导航、操作参数及无关参数等问题,易导致Googlebot陷入抓取循环并加重服务器负载。若无法有效识别URL空间价值,爬虫可能因过度请求致使网站响应迟缓甚至瘫痪。
2025年谷歌爬虫五大核心挑战
Gary Illyes按影响权重将当前爬取难题划分为以下五类:
分层导航(占比50%)
此类问题多发于电商网站。当用户通过价格、品类或制造商等多维度筛选排序时,会生成海量唯一URL模式。Googlebot为评估页面价值可能尝试遍历所有组合,极易引发服务器过载,严重影响站点可用性。
操作参数(占比25%)
指触发特定功能而非改变页面内容的URL参数,如“?add_to_cart=true”等。此类参数常由CMS插件自动注入,会导致URL数量成倍增加。爬虫对相同内容页面的重复抓取将造成资源浪费。
无关参数(占比10%)
包括UTM跟踪码、会话ID等通常被忽略的参数。由于难以判断这些随机字符串是否关联内容状态,Googlebot可能主动测试其有效性,尤其在参数符合标准命名规范时,无效抓取风险更高。
WordPress插件与小部件(占比5%)
部分插件或小部件集成了事件追踪等功能。受限于WordPress开源生态的多样性,此类组件产生的非标准URL结构给爬虫解析带来显著挑战。
其他技术异常(占比2%)
涵盖URL双重编码等罕见错误。例如对已编码URL再次进行百分号编码,爬虫解码后仍残留编码字符,导致页面损坏或报错,但爬虫仍会尝试处理此类无效链接。
图片来源:Lizzi Sassman

