大数跨境

Google 澄清使用 noindex 和 404 状态码以优化抓取预算

Google 澄清使用 noindex 和 404 状态码以优化抓取预算 谷歌google快讯
2022-12-05
0
导读:周五,来自 Google 的 Lizzi Sassman 更新了抓取预算管理帮助文档,新增两个主题。具体而言,Google 在抓取预算文档中增加了两个新误区。

周五,Google 抓取预算管理帮助文档迎来更新。Lizzi Sassman 在文档中新增了两个关于抓取预算的常见误区澄清,旨在帮助网站管理员更准确地理解 Googlebot 的抓取机制。

Google 抓取预算两大误区澄清

noindex 标签对抓取预算的长期影响

Google 明确指出,使用 noindex 并非控制抓取预算的直接手段。因为任何被爬取的 URL 都会消耗抓取预算,且 Googlebot 必须先访问页面才能识别其中的 noindex 规则。

然而,若需确保特定内容不被索引,仍应坚持使用 noindex。从长远来看,当这些页面被移出索引后,Googlebot 会将抓取资源重新分配至网站其他有效 URL,从而间接释放抓取预算。

4xx 状态码不会浪费抓取预算

针对返回 4xx HTTP 状态码(429 除外)的页面,Google 确认其不会浪费抓取预算。当 Googlebot 尝试爬取此类页面并收到相应状态码时,系统会立即停止获取内容,不会产生额外的资源消耗。

【声明】内容源于网络
0
0
谷歌google快讯
谷歌官方更新资讯
内容 9318
粉丝 0
谷歌google快讯 谷歌官方更新资讯
总阅读496
粉丝0
内容9.3k