
Google抓取预算文档新增If-Modified-Since标头说明
Google在抓取预算管理帮助文档中新增了“使用HTTP状态码指定内容更改”章节,重点解析了If-Modified-Since请求标头的应用规范。
If-Modified-Since标头工作机制
Google爬虫(尤其是AdsBot)会在特定场景下发送If-Modified-Since和If-None-Match HTTP请求标头。该标头的值为内容上次被抓取的时间戳。服务器可据此判断内容是否更新:
- 若内容未变更,返回不带响应体的304(Not Modified)状态码,Google将复用历史缓存版本;
- 若内容已更新,则返回带响应体的200(OK)状态码。
主动返回304状态码优化抓取效率
无论请求是否携带相关标头,只要自Googlebot上次访问后URL内容未发生变化,服务器均可直接返回不带响应体的304状态码。此举能有效节省服务器处理时间与资源,进而间接提升整体抓取效率。

