
谷歌确认抓取总量未减,未来将聚焦智能调度与传输优化
针对近期关于“谷歌抓取量减少”的讨论,谷歌搜索技术专家加里·伊利斯(Gary Illyes)在LinkedIn上明确回应:从宏观数据来看,Googlebot的抓取总量与往年基本持平。当前的核心变化在于调度机制更加智能,系统正优先抓取高价值URL,而非单纯降低抓取频次。
优化目标:提升缓存效率与减少数据传输
伊利斯指出,尽管抓取总量稳定,但进一步减少不必要的网络传输仍是今年的重点工作。他提出两项关键优化方向:
- 强化内部缓存共享机制,提升Googlebot在缓存与用户代理间的协作效率;
- 在不牺牲抓取质量的前提下,切实降低网络数据传输量。
这一举措旨在减轻服务器负担并提升生态效率,对网站所有者和搜索引擎均有利。伊利斯同时呼吁行业关注相关IETF互联网草案或技术标准,若发现有助于实现该目标的规范,欢迎反馈。
行业动态:微软推IndexNow,谷歌探索RSS抓取
在减少无效抓取方面,微软Bing团队已通过推广IndexNow协议寻求解决方案。相比之下,谷歌虽曾在2021年表示考虑采用该协议,但后续未有实质性进展。
此外,谷歌高级Web分析师约翰·穆勒(John Mueller)对此话题评论称,或许可以直接抓取RSS源来替代部分网页抓取。这虽带有调侃意味,但也反映出业界对于通过结构化数据源优化抓取效率的持续探索。

