
谷歌搜索倡导者加里·伊利斯(Gary Illyes)近日在领英发文指出,Googlebot爬取量激增未必是利好信号。他强调,若无法证明爬取量增加源于正面因素,应优先将其视为网站存在技术或安全问题的预警。
警惕无限空间导致的无效抓取
当网站包含日历组件或支持无限筛选的产品列表页时,极易产生“无限空间”问题。爬虫虽会暂时对此类页面表现出高活跃度,但这会导致大量无效抓取,浪费爬取预算。建议站长合理配置robots.txt文件,对无搜索价值的无限生成页面进行屏蔽,引导爬虫聚焦于核心内容。
防范黑客攻击引发的垃圾页面泛滥
爬取量异常飙升也可能是网站遭受入侵的迹象。不法分子一旦获取服务器或CMS权限,可能批量生成垃圾页面以污染站点。此时爬虫的活跃实为对恶意内容的被动响应。站长可参考web.dev/hacked提供的官方指南进行排查与修复,及时清除被篡改内容并恢复网站安全。

