独立站不被谷歌收录的八个原因和解决方法
八个原因，三道关，按顺序查
页面不被收录，很多人的第一反应是内容不行，于是改标题、补关键词、重写开头。改了两周，Search Console 里的状态没变，开始怀疑是不是被惩罚了。
收录是三道关。Google 得先知道页面存在，这是发现；再能把它抓下来，这是抓取；最后才决定要不要放进索引，这是索引。八种常见故障分别卡在这三道关上。不先定位卡在哪一关，改内容多半是白费力气。
下面按这个顺序写。每个原因给出「一眼判断」和「怎么处理」，末尾附一张八行对照表和一套处理顺序。排查时不必从头读到尾，先看状态，再跳到对应的那一条。
01 · 先分清卡在哪一关
Search Console 的页面报告里，「没收录」至少对应五种状态，处理方向完全不同。先看状态，再决定查什么。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
这张表只用来定位，不能当结论。状态会随着抓取变化，隔几天再看一次，比盯着当天截图有用。
02 · 发现关：两个原因
原因一：页面没有站内入口。
页面只存在于 sitemap 里，导航没有、分类页没有、文章里也不提，翻页组件只链到第五页。这类页面在爬虫工具里显示入站内链为零，点击深度五层以上。Google 没走到这里，自然谈不上收。新上线的产品页最容易出这个问题：后台建了页面，忘了挂进分类。
判断很快：用爬虫工具看这个 URL 的 inlinks，或者看 GSC 里「已发现，尚未编入索引」是不是集中在同一批页面。处理也不复杂：每个页面至少给两条相关内链，产品页放进分类页和主导航第二层，文章正文提到型号时链过去，分页补一个「查看全部」。改完用 URL 检查请求抓取，别等下一次自然抓取。
原因二：sitemap 里是旧地址。
sitemap 列着 http 地址、带参数的地址、已经 301 的地址；lastmod 每次生成都刷成当天。Google 打开一看，一半地址要跳转，慢慢就不信这份文件了。
抽五条在浏览器里打开，看是不是直接返回 200；再对比 GSC 站点地图报告里的「已发现」和网站实际页面数，差得离谱就说明文件本身有问题。只放最终 200 地址，lastmod 用真实修改时间，单个文件不超过五万条、五十兆，超了就拆成索引文件。
先把一件事说清：sitemap 只起提示作用，不决定收不收。提交了不代表会收，不提交也不代表收不到。它的作用是告诉 Google 哪些地址值得优先看，决定收不收的还是页面本身和抓取安排。
03 · 抓取关：三个原因
原因三：robots.txt 挡了整站或资源。
测试环境防索引，最省事的写法是一行 Disallow: /。整站上线时这行跟着迁移过去，整站就都抓不到了。另一种是只挡了 /assets、/wp-content 这类目录，页面能抓，CSS 和 JS 抓不到，渲染出来是裸的。
打开 域名/robots.txt 直接看，再用 GSC 的 robots.txt 测试工具和 URL 检查确认。删掉 Disallow: /，放行样式和脚本目录。要挡索引用 noindex，但 noindex 页面必须允许抓取，否则 Google 看不到那行标签，反而可能因为外部链接把空壳收进去。
原因四：CDN 或防火墙把 Googlebot 拦了。
防火墙的机器人防护默认开启，把 Googlebot 当成可疑流量；或者按地区限流，海外节点直接 403；或者 WAF 规则太严，高频抓取返回 429。表现是 GSC 抓取统计里错误率突然上升，实时抓取失败，但自己用浏览器打开一切正常。
翻服务器日志，筛 Googlebot 的 UA，看返回码；再用 URL 检查的实时抓取对照。日志里常见的一种情况是同一 IP 段在几秒内连续请求几十次，被 WAF 判定成攻击；Googlebot 的正常抓取没有这么密，看到这种频率，多半是阈值设得太低。处理时按 Google 公布的 IP 段放行，官方提供一个 JSON 文件，定期更新；对已知爬虫关掉人机验证；限速阈值调到合理范围。改完观察 24 小时，别立刻重复提交。
原因五：服务器不稳定，返回 5xx 或 429。
共享主机扛不住并发，插件拖慢响应，高峰期限流，都会让 Googlebot 收到 503 或 429。偶尔一次没关系，连续几天这样，抓取频率就会降下来，恢复起来比掉下去慢得多。
先看 GSC 抓取统计和服务器监控，确认是不是集中时段。加缓存、提并发、错峰发布，503 响应带上 Retry-After。还有一条容易忽略：页面不存在时不要用 200 返回一个「没找到」的模板，那是 soft 404，Google 会当成低质页面处理。
04 · 索引关：三个原因
原因六：noindex 或 X-Robots-Tag 残留。
模板统一加了 noindex；CDN 或安全插件在响应头里统一加；只改了页面里的 meta，没改响应头。后一种在源码里看不见，是漏检高发区。
URL 检查会写「已排除，被 noindex 标记」；用 curl -I 看响应头，再搜一遍页面源码里的 meta。两处都清掉，然后请求重新抓取。只删 meta 不删响应头，等于没改。
原因七：canonical 指错。
产品页 canonical 到分类页或首页；多语言版本互相指；筛选页指主分类本来是对的，结果独立产品页也指了过去。页面本身没问题，Google 却把索引记在了另一个网址上。
看源码里的 canonical 是不是自指；GSC 里搜「重复网页，Google 选择了其他网址」；URL 检查会列出「用户声明的规范网址」。原则是自指，只在确实重复时指向主版本。分页页自指，不要把第二页指回第一页；多语言用 hreflang 配对，不要用 canonical 互相指。
原因八：正文是 JS 空壳，或者页面太薄。
查看源代码只有一个 div 和一堆脚本；参数全在图片里；分类页只有产品缩略图，没有一句文字；批量模板只换了型号，其余一字不差。这几种页面抓得到，也读不出内容。
URL 检查里对比原始 HTML 和渲染后的 HTML，或者禁用 JS 打开页面。关键内容做服务端渲染或预渲染，参数改成 HTML 表格，每个页面补一段独有的说明，空分类先合并或 noindex，图片里的参数补一份文字版。Google 能渲染 JS，但渲染要排队，也会超时，把正文完全押在脚本上，收录就只能看运气。
拿工业冷水机来说，产品页如果只有一张机组照片和一句「欢迎询价」，制冷量、进出水温、压缩机品牌、冷媒类型全在详情图里，抓取时正文几乎是空的。把这些写成文字表格，再补一段适用工况，页面才有可索引的内容，图片只是补充。
05 · 八行对照表
排查时把这张表放在旁边，一行一行对。找到符合的那行，先做右边那件事，别同时改三样。
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
06 · 处理顺序：先放行，再补路，最后改内容
顺序有依赖，不能随便调换。抓取被挡着，内容改得再好也送不到 Google 面前；路没铺好，把页面做得再厚也走不到。
第一批：放行。robots、防火墙、服务器错误。这三样处理完，先看抓取统计有没有恢复。没有恢复，后面两步先别做。
第二批：补路。内链、sitemap、canonical、网址版本。让页面有入口、有正确的地址、有明确的规范版本。这一批改完，用 URL 检查抽几个页面请求抓取，看能不能从「已发现」往前走一步。
第三批：改内容。空壳页面、参数图片、批量模板、空分类。到这一步才轮到写。内容改完，同样只请求抓取，不重复提交，不反复改标题。
每批之间隔三到七天。三类一起改，状态变了也说不清是哪一步起了作用。下一次再出问题，还是得从头查一遍。
07 · 三天后怎么确认修复了
先用 URL 检查看状态有没有从前一档往后走：已发现变成已抓取，已抓取变成已编入。停在「已抓取，尚未编入」也别急着推翻，这一档本来就会停一阵。
再看服务器日志里 Googlebot 的返回码是不是 200，抓取频率有没有回升。site: 只能当粗筛，数字不准，别拿它当验收标准。
观察两到四周。新站、改版站、页面多的站都更慢，三天没动静很正常。两周后状态一点没动，回到第 01 节重新定位，别继续堆内容。
一个判断：收录是通路问题。八种原因里，前七种是技术或结构问题，多数当天能查到原因；只有最后一种要动笔。上来就改内容，等于把最费时的一步放在了最前面。
先让 Google 进得来，再谈它愿不愿意收。顺序反了，改得越多，越容易怀疑自己。
今天能做的三件事：打开 GSC 页面报告，按状态分组数一遍；抽十个未收录 URL，看 inlinks 和 canonical；把 robots.txt 和响应头各看一遍。
这三步做完，能排掉哪几种、还剩哪几种，心里就有数了。剩下的再按第 06 节的顺序往下走。
收录慢的时候，最容易做的动作是写新文章。但新文章也要走同一条通路。通路没修好，多写一篇只是多一个排队等抓取的地址。
— END —
#谷歌SEO #网站收录 #技术SEO #外贸独立站 #抓取