
Google更新爬虫协议文档:支持HTTP/1.1与HTTP/2动态切换
Google近日对其爬虫及抓取工具文档进行了微调,明确说明将优先选择“为Googlebot提供最佳抓取性能”的协议版本,即HTTP/1.1和HTTP/2。在实际抓取过程中,Googlebot甚至可能根据历史统计数据在不同会话间动态切换协议。此次更新幅度较小,未列入官方更新日志。
协议选择机制与SEO影响
Google爬虫同时支持HTTP/1.1和HTTP/2。系统会自动选用性能最优的版本,并可能依据过往抓取记录在会话间切换协议。默认情况下使用HTTP/1.1;采用HTTP/2抓取有助于节省网站服务器及Googlebot的计算资源(如CPU、内存),但不会带来任何搜索排名等特定产品优势。若需禁用HTTP/2抓取,可配置服务器对Googlebot的HTTP/2请求返回421状态码;如无法实现,也可联系抓取团队申请临时处理。
自2020年11月起,Google开始对部分URL启用HTTP/2抓取,一年后该协议已覆盖全网约半数网页。需注意的是,HTTP/2本身并不直接提升SEO效果,且站长无法强制指定Google使用特定协议进行抓取。
文档更新细节验证
行业观察者Gagan Ghotra于X平台披露了上述文档变更,指出相关内容已于11月19日更新,并提供了修改前后的对比截图以供核实。


