大数跨境

谷歌的加里·伊利斯希望Googlebot减少抓取

谷歌的加里·伊利斯希望Googlebot减少抓取 谷歌google快讯
2024-04-02
0
导读:谷歌的加里·伊利斯在LinkedIn上发帖称,他今年的任务是“弄清楚如何进一步减少抓取,并让网络传输的数据量更少”。他补充说,Googlebot应该“在缓存和用户代理之间的内部缓存共享方面更加智能,并

谷歌确认抓取总量未减,未来将聚焦智能调度与传输优化

针对近期关于“谷歌抓取量减少”的讨论,谷歌搜索技术专家加里·伊利斯(Gary Illyes)在LinkedIn上明确回应:从宏观数据来看,Googlebot的抓取总量与往年基本持平。当前的核心变化在于调度机制更加智能,系统正优先抓取高价值URL,而非单纯降低抓取频次。

优化目标:提升缓存效率与减少数据传输

伊利斯指出,尽管抓取总量稳定,但进一步减少不必要的网络传输仍是今年的重点工作。他提出两项关键优化方向:

  • 强化内部缓存共享机制,提升Googlebot在缓存与用户代理间的协作效率;
  • 在不牺牲抓取质量的前提下,切实降低网络数据传输量。

这一举措旨在减轻服务器负担并提升生态效率,对网站所有者和搜索引擎均有利。伊利斯同时呼吁行业关注相关IETF互联网草案或技术标准,若发现有助于实现该目标的规范,欢迎反馈。

行业动态:微软推IndexNow,谷歌探索RSS抓取

在减少无效抓取方面,微软Bing团队已通过推广IndexNow协议寻求解决方案。相比之下,谷歌虽曾在2021年表示考虑采用该协议,但后续未有实质性进展。

此外,谷歌高级Web分析师约翰·穆勒(John Mueller)对此话题评论称,或许可以直接抓取RSS源来替代部分网页抓取。这虽带有调侃意味,但也反映出业界对于通过结构化数据源优化抓取效率的持续探索。

【声明】内容源于网络
0
0
谷歌google快讯
谷歌官方更新资讯
内容 3766
粉丝 0
谷歌google快讯 谷歌官方更新资讯
总阅读451
粉丝0
内容3.8k