盘活谷歌爬虫预算：用页面优先级策略提升整站收录效率

收录上不去，多半不是页面太少，是爬虫预算被低价值 URL 白白花掉了。

同一个站，页面总量没怎么变，收录却掉得厉害。这种时候，多数人的第一反应是内容不行、更新太慢，或者站太小。很少有人会打开 Search Console 里的抓取统计看一眼——那里往往写着另一件事：预算没少，只是全花在了不该花的地方。

爬虫预算这个说法，听起来像 Google 给每个站发了个固定配额，用完了就没得爬。可对绝大多数外贸独立站来说，真正的问题不是"预算不够"，是"预算被自己的低价值页面浪费掉了"。垃圾 URL 占着爬虫的精力，真正能接询盘的钱页反而一年到头被爬不了几次。

所以这篇不讲怎么"让 Google 多爬"，讲的是怎么把预算从垃圾页面手里要回来，再导到该去的地方。一共六步，从给 URL 分级开始，到服务器这一层收尾，每一步都能在 GSC 里对照着做。

01 · 先把"爬虫预算"拆开看，别被这个名字唬住

爬虫预算不是一笔固定数额，Google 官方把它拆成两个东西拼在一起：一个是抓取上限，也就是 Google 估计你的服务器能扛住多快的抓取，扛不住就放慢；另一个是抓取需求，也就是 Google 到底多想爬你，跟页面热度和新鲜度有关。

Google 自己都说，绝大多数网站根本不用管这件事。但外贸独立站里有一类站是例外——页面特别多，URL 一加筛选、颜色、币种、排序就成倍翻，翻出来的大多是内容重复或接近空的参数页。这类站不是被 Google 冷落，是被自己造出来的 URL 数量拖垮了。

所以盘活预算的第一步，不是想办法让 Google 派更多爬虫，是先搞清楚预算现在到底流到哪去了。去看 GSC 的抓取统计，重点看两行：一是"抓取的网页数"和"已发现但未抓取"的差距，二是按响应码排，5xx、404、重定向各占多少。看明白了，下一步才有的放矢。

02 · 给 URL 分级，是盘活预算的第一步

Google 的爬虫不会自己判断哪个页面值钱，它跟着内链、站点地图和引用信号往下走。你把垃圾页和钱页放在同一个池子里，它只能平均用力，甚至更糟——垃圾页数量占优，反而分走了大头。

所以第一件该做的事，是把全站 URL 按价值分三档：能直接接询盘、下单的钱页排最前，帮钱页攒权重的支撑页排中间，剩下的垃圾页排最后。这个分级不是给 Google 看的，是给你自己看的——分级做完，你才知道该挡谁、该喂谁。

这里有个反直觉的地方，值得单独说：收录上不去，很多时候不是"页面太少 Google 没得爬"，而是"垃圾页太多 Google 爬不完，也不愿意爬"。一个站删掉一批低价值 URL，收录往往不降反升——省出来的预算，被转到了真正该被收录的页面上。

03 · 用 robots 和 noindex 把垃圾页挡在门外

挡垃圾页，不是把页面删掉。很多参数页是系统自动生成的，删不掉，也不该删——它们对站内用户有用，只是对 Google 没用。要做的，是让 Google 别把预算花在它们身上。

两件工具，分工不一样：robots.txt 的 Disallow 管"别来爬"，noindex 管"别收进索引"。理想做法是两条一起上——先用 robots 挡住抓取，再用 noindex 兜底，防止那些已经被外链带进来、绕过了 robots 的页面继续留在索引里。

变体页用 canonical。同一款灯具，不同颜色、不同币种各生成一个 URL，内容九成重复，这种别挡也别 noindex，直接让 canonical 指向主版本，把信号和预算并回一个 URL 上。做包装机械的站，同一台机器按电压、认证拆出十几个变体，最该用的就是这个办法。

提醒一句：robots 和 noindex 都是外科手术，改错了会误伤整站。动手前先在 GSC 的 URL 检查里，把要处理的 URL 拉出来看一遍状态，别凭感觉批量改。改完过几天回来看抓取统计，确认该挡的挡住了、该收的没被误伤。

04 · sitemap 别贪多，只放该收的页

XML sitemap 是递给 Google 的一张建议抓取清单，不是全站花名册。可不少站的做法正好相反：把几万个 URL 一股脑塞进去，连 404 的、已经 noindex 的、参数变体都往里装。结果就是 sitemap 里的 URL 收录率低得难看，Google 也会慢慢降低对这张清单的信任。

正确的做法是收窄：只放 canonical 之后的主版本 URL，已经 noindex 的不放，404 的定期清理，参数页一律不进。lastmod 也别让程序每次抓取都刷新，只在内容真正改动时更新——天天更新一个没变化的 lastmod，等于告诉 Google 这个字段不可信。

页面多的站，按类型拆成几个 sitemap，产品、分类、博客分开。好处是能在 GSC 里单独看每个文件的收录情况，哪个文件收录率低，一眼就定位到是哪一类页面出了问题。

05 · 内链把预算导到钱页，别让钱页变孤岛

挡掉了垃圾页，省下的预算不会自动流向钱页，得靠内链把它导过去。爬虫从首页进来，沿着链接一层层往下走，走到哪算哪。一个被埋在七八层深处、几乎没人链过去的产品页，对爬虫来说跟不存在差不多。

做法就三条。一是把站做扁，所有重要页面离首页不超过三四次点击。二是让每个支撑页至少有一两条内链指向相关钱页——博客里写到的产品，正文里顺手链到对应产品页，这比页脚、侧边栏的批量链接值钱得多。三是少而准，别在页脚塞几百个链接凑数，那既不传权重，还摊薄预算。

做五金配件的站，往往几千个 SKU 里真正贡献订单的只有几十款。与其让几百个滞销款平均分走预算，不如把内链和 sitemap 都往那几十款核心产品上收一收，让爬虫知道这个站最该收的是什么。

06 · 服务器这一层别掉链子，5xx 会悄悄吃掉预算

预算的另一半——抓取上限——直接跟服务器状态挂钩。Google 会实时盯着你站点的响应，5xx 一多，它立刻放慢抓取速度，怕把你服务器压垮。这不算惩罚，是它自己的保护机制。问题是很多站主根本没意识到服务器在抖，只看到收录一直上不去。

几个常见的坑，都在 GSC 抓取统计里能看出来：响应时间慢，尤其是首字节慢；间歇性的整页 5xx；重定向链，一个 URL 要跳好几跳才落地，每跳一次都多耗一次抓取；还有软 404，页面返回 200，内容却是"没找到"，白白占一个抓取名额。

对应的处理也直接：把重定向链压成一步到位，软 404 改成真 404 或直接 301 去对应页面，5xx 找运维把响应时间压下来。服务器稳，Google 才敢多派爬虫；服务器抖，它自己就先退了。这一条往往被排在最后，却经常是那一根真正卡住收录的管子。

BOTTOM LINE

盘活爬虫预算，核心不是"让 Google 多爬"，是"让 Google 只爬该爬的"。先给 URL 分三档，用 robots、noindex、canonical 把垃圾页挡在门外，sitemap 只放规范页，内链把省下来的预算导到钱页，最后把服务器这一层稳住。这六步走完，收录往往自己就上来了。

如果你现在正卡在收录上不去，先别急着加页面、堆内容。去 GSC 抓取统计里待一个小时，看看预算到底花在哪了，再按上面六步一处一处调。很多时候，管好已有的页面，比再造一批新页面更管用。

— END —

#谷歌SEO #爬虫预算 #页面收录 #外贸独立站 #SEO实操