大数跨境

Google 谈 Googlebot 爬虫多年来发生的变化

Google 谈 Googlebot 爬虫多年来发生的变化 谷歌google快讯
2025-05-30
0
导读:来自 Google 的 Gary Illyes 描述了搜索引擎爬虫多年来发生的变化。这一话题出现在最新的《Search Off the Record》播客中,嘉宾为来自 Google 的 Martin

在最新一期《Search Off the Record》播客中,Google 员工 Gary Illyes 与 Martin Splitt 深入探讨了搜索引擎爬虫的演变历程。Gary 指出,尽管 Googlebot 目前尚未支持 HTTP/3,但鉴于其更高的传输效率,未来必将适配。爬虫技术的变化主要体现在 HTTP 请求头处理机制、robots.txt 协议遵循、反垃圾策略以及 AI 内容消耗等维度。

爬虫协议与HTTP技术演进

Gary 表示,爬虫的核心行为逻辑并未发生颠覆性改变,但底层技术支撑已显著升级。早期爬取可能仅依赖 HTTP/0.9 或 1.1,缺乏完善的请求头机制。如今,随着 HTTP/2 及 HTTP/3 的发展,流式传输技术允许通过单一连接执行多项操作,大幅提升了爬取效率。虽然 Googlebot 暂未启用 HTTP/3,但从技术趋势看,支持该协议是必然选择。

合规策略与对抗性爬虫应对

不同公司的爬虫策略存在差异,但负责任的爬虫均会严格遵守 robots.txt(机器人排除协议),并根据服务器负载信号主动调整抓取频率。针对恶意软件扫描器、隐私扫描器等“对抗性爬虫”,由于其目标对象常试图隐藏自身,运营商需采取差异化识别策略。这类爬虫虽非出于恶意攻击目的,但其隐蔽性要求平台具备更精细化的管控能力。

资源消耗焦点:索引重于爬取

关于爬虫对互联网资源的占用问题,Gary 强调应理性看待。尽管新 AI 产品的推出增加了抓取量,但单纯的爬取行为并非资源消耗的主因。真正昂贵且密集的是后续的索引构建、数据服务及数据处理环节。相比之下,单次请求节省或增加的字节数对整体网络负载影响微乎其微,互联网完全能够承受当前规模的爬虫流量。

图片来源:Lizzi

【声明】内容源于网络
0
0
谷歌google快讯
谷歌官方更新资讯
内容 3766
粉丝 0
谷歌google快讯 谷歌官方更新资讯
总阅读451
粉丝0
内容3.8k