
Google爬虫HTTP请求类型及占比说明
Google技术专家Gary Illyes近日证实,Google爬虫除发送常规的GET和POST请求外,还会发送HEAD、OPTIONS、PUT、PATCH及DELETE等HTTP请求。不过,此类非主流请求在Google爬虫总请求量中占比极低,不足1.5%。
非常规请求主要用于JavaScript渲染
针对近期关于爬虫请求类型的疑问,Illyes明确回应称上述请求确实存在,但比例微小。他进一步解释,这些请求的产生主要源于JavaScript执行过程中的复杂操作。当Google渲染引擎处理网页内容时,部分JavaScript代码会触发这些特定类型的HTTP请求以完成渲染工作。

