TECHNICAL SEO · 01 网站可抓取性与可索引性详解 |
Google 处理页面需经历完整五步，缺失任一环节均无法进入排名池：
Discovery（发现） → Crawl（抓取） → Render（渲染） → Index（索引） → Rank（排名） |
Crawlability（可抓取性） 涵盖前两步，决定页面能否被发现及抓取；Indexability（可索引性） 管控第四步，评估抓取后的页面是否值得入库。唯有跨越这两道门槛，方具备参与排名的资格。
PART 01 可抓取性（Crawlability） |
可抓取性指 Googlebot 能否顺利访问并读取页面内容。搜索引擎不会主动知晓 URL 存在，完全依赖链接路径进行发现与抓取。
robots.txt 配置策略
作为根目录下的纯文本文件，通过User-agent +Disallow 指令控制抓取范围。
- 放行对象：首页、分类页、产品页、博客文章、落地页（Landing Page）。
- 屏蔽对象：后台管理、登录页、购物车、用户中心、站内搜索结果页。
robots.txt 三大高频误区
- 误屏蔽 CSS/JS：导致 Googlebot 无法渲染页面，误判内容缺失。
- 混淆 Disallow 与 noindex：被 Disallow 屏蔽的页面若有外链指向，仍可能以裸 URL 形式出现在搜索结果中。
- 通配符误杀：如
Disallow: /*?将屏蔽所有带参数的 URL。
XML Sitemap 优化
Sitemap 是提交给 Google 的页面清单。每个 URL 可包含三个字段：lastmod（最后更新时间）、changefreq（更新频率）、priority（优先级）。Google 官方明确：仅lastmod为有效参考信号，其余两项仅为建议。
核心要点：自动生成而非手动维护；超过 5 万条需拆分为 Sitemap Index；仅收录状态码为 200 的规范 URL；排除重定向、404 及 noindex 页面。
网站结构与点击深度
理想架构：首页 → 分类 → 子分类 → 内容页。确保任何页面在 3～4 次点击内可达。点击深度每增加一层，Googlebot 抓取概率递减，PageRank 权重亦逐层稀释。
辅助工具：面包屑导航（Breadcrumb）、HTML Sitemap、主题集群（Topic Cluster）、分类导航。
分面导航（Faceted Navigation）处理
用户筛选（颜色、尺码、价格等）会生成海量含参 URL（如?color=red&size=l），造成大量近似重复页面。
解决方案：利用 robots.txt 屏蔽参数 URL；使用 Canonical 标签收敛至主 URL；对低频筛选页设置 noindex；在 GSC「网址参数」工具中配置忽略特定参数。
内部链接建设
内链是 PageRank 在站内流动的核心管道。建议每篇文章链接 3～5 篇相关内容 + 1 个分类页 + 1 个支柱页（Pillar Page），并使用描述性锚文本（避免使用“点击这里”）。
孤立页面（Orphan Page）治理
无任何内链指向的页面被称为孤立页，Google 极难发现（除非单独提交至 Sitemap）。建议定期使用 Screaming Frog 等工具扫描，通过补充内链或直接删除进行治理。
抓取预算（Crawl Budget）管理
Google 抓取资源有限。预算 =抓取速率限制（服务器承受力）×抓取需求（页面价值）。
少于 1 万页的小型站点无需过度担忧；电商、UGC 及大型资讯站需警惕：参数 URL、筛选页、分页及 404 页面会静默消耗大量预算。
查看路径：GSC →「设置」→「抓取统计信息」，监控每日抓取页数、下载量及耗时分布。
服务器响应码解析
Googlebot 依据响应码判断页面状态：
- 200：正常，内容进入处理流水线。
- 301/308：永久重定向，传递权重。重定向链条不宜超过 5 跳。
- 302：临时重定向，不传递权重。长期使用属资源浪费。
- 404：少量存在可接受，大量出现浪费预算。
- 410：永久删除，比 404 信号更明确，告知 Google 无需再次访问。
- 5xx：服务器错误。持续出现将降低抓取频率，严重时触发降权。
服务器日志分析
原始日志分析最为精准。重点监测：Googlebot 抓取的 URL 分布、频次、返回状态码、高频抓取但未更新的页面、以及从未被抓取的重要页面。推荐工具：Screaming Frog Log Analyzer、Splunk、ELK。
PART 02 可索引性（Indexability） |
抓取不等于收录。Google 在完成抓取后需评估内容价值，未入库页面不具备排名资格。
Crawl ≠ Index。部分站点日均被爬数千次，收录率却不足 30%。 |
Meta Robots 标签控制
置于<head> 区域，精准控制单页索引行为：
- index, follow：收录并追踪链接（默认状态，无需显式声明）。
- noindex, follow：不收录但传递链接权重（适用于分页、筛选页）。
- noindex, nofollow：既不收录也不追踪。其他指令包括 noarchive（禁止缓存）、nosnippet（禁止摘要）等。
注意冲突：若页面被 robots.txt 屏蔽，Googlebot 无法读取 noindex 指令，导致屏蔽失效。
X-Robots-Tag（HTTP Header 方式）
Meta Robots 仅适用于 HTML 页面。针对 PDF、图片、视频等非 HTML 文件，需在服务器响应头中配置X-Robots-Tag: noindex，语法逻辑与 Meta Robots 一致。
Canonical 标签规范
用于告知 Google 多个相似 URL 中哪一个是规范版本，以集中权重。例如将/product?color=red 和/product?size=l 均指向/product。
注意事项：Canonical 是建议而非强制命令。避免指向 404 页面、形成循环引用或全站指向首页。
Canonical 常见错误
- 指向 404 或被 noindex 的页面，导致 Google 忽略该指令。
- 多页面互相 Canonical，形成循环，Google 将自行抉择。
- 链路过长（A 指向 B，B 又 301 到 C），导致信号衰减。
- 缺失自引用 Canonical：即使无重复内容，也建议每个页面添加指向自身的 Canonical 标签作为防御措施。
重复内容处理
Google 虽不直接惩罚重复内容，但会自行选择一个版本收录，未必符合站长预期。常见成因：HTTP/HTTPS 并存、www/非 www、尾部斜杠差异、URL 大小写、打印版/AMP 版、多地区版本等。
处理方案：301 重定向统一主版本 → Canonical 收敛 → hreflang 标注多语言关系。
hreflang 多语言标注
多语言/多地区站点必须使用 hreflang 明确地域归属，如/zh-cn/page 面向中国大陆，/en/page 面向英语用户，以此区分非重复内容。
实施方式：HTML link 标签、HTTP Header 或 Sitemap（三选一）。必须确保双向标注（A 指 B，B 亦指 A）。
JavaScript 渲染与索引
Google 分两轮处理：首轮获取 HTML（秒级），次轮执行 JS 渲染（可能延迟数天至数周）。纯客户端渲染（CSR，如 React/Vue/Angular）在首轮仅能获取空壳<div id="root">。
解决方案：采用 SSR（服务端渲染）或 SSG（静态生成）输出完整 HTML；至少实施预渲染兜底；确保 Title、Description 及结构化数据等关键内容不依赖 JS 注入。
页面质量信号评估
索引资格评估维度：内容原创性与完整度、E-E-A-T（经验、专业性、权威性、可信度）、页面体验（Core Web Vitals）、内链支持及外链信号。
高风险类型：薄内容（Thin Content）、门页（Doorway Pages）、自动生成内容、纯聚合页，此类页面通常直接被拒收。
结构化数据（Schema Markup）
采用 JSON-LD 格式帮助 Google 理解内容类型（文章、产品、FAQ 等），触发富媒体搜索结果（Rich Results）。虽不影响索引资格，但显著提升点击率。
验证要求：使用 Google Rich Results Test 工具验证。标记内容必须与页面实际显示一致，否则视为误导而被忽略。
移动优先索引（Mobile-First Indexing）
2024 年起，Google 已全面采用移动版页面进行索引和排名。若移动版删减内容、缺失结构化数据或懒加载配置不当，Google 索引到的将是残缺版本。
GSC 索引报告解读
GSC「页面」报告将 URL 划分为以下状态：
- 已收录：进入索引库，具备排名资格。
- 已抓取—未收录：已抓取但因内容质量低或重复问题未被收录。
- 已发现—未抓取：已知存在但未安排抓取，通常因内链薄弱或预算不足。
- 重复—Google 选了其他规范 URL：Canonical 生效，但选定版本可能非预期。
- Soft 404：返回 200 状态码但内容提示“页面不存在”。
建议使用 GSC「网址检查」工具查看 Google 实际抓取的 HTML、渲染截图、索引状态及 Canonical 选择情况。
PART 03 完整流程与卡点排查 |
五步流程中每一步均存在典型卡点。遇到排名问题应先定位具体受阻环节，而非盲目修改内容。
- Discovery：依赖 Sitemap、外链、内链发现 URL。卡点：孤立页面、无外链、缺失 Sitemap。
- Crawl：Googlebot 下载 HTML/CSS/JS。卡点：robots.txt 屏蔽、5xx 错误、超时、预算耗尽。
- Render：执行 JS 获取完整内容。卡点：纯 CSR 架构、JS 报错、渲染延迟。
- Index：评估质量与技术信号。卡点：noindex 设置、Canonical 冲突、内容单薄、重复内容。
- Rank：基于搜索意图、相关性及权威性排序。卡点：意图不匹配、外链薄弱、E-E-A-T 不足。
PART 04 排查清单 |
从“可抓取”到“可索引”的全链路自查：
可抓取性检查
- robots.txt 仅屏蔽必要目录，务必放行 CSS/JS 文件。
- Sitemap 自动生成，仅包含状态码 200 的规范 URL。
- 保持扁平结构，确保 3～4 次点击内到达任意页面。
- 每篇文章部署 3～5 个内链，彻底消除孤立页面。
- 严格控制分面导航与参数 URL，防止筛选页消耗预算。
- 保障服务器稳定性，5xx 错误趋近于零，响应时间<500ms。
- 定期分析服务器日志，洞察 Googlebot 实际行为。
可索引性检查
- 需收录页面确保
index, follow，无需收录页面设置 noindex。 - Canonical 指向正确的规范 URL，杜绝循环与 404 指向。
- 通过 301 重定向统一 HTTP/HTTPS 及 www/非 www 版本。
- 多语言/多地区站点正确配置 hreflang。
- CSR 页面实施 SSR/SSG 或预渲染兜底。
- 确保移动版内容与桌面版一致，无删减。
- 为核心内容类型添加结构化数据。
- 非 HTML 文件（PDF、图片）利用 X-Robots-Tag 控制。
- 每周审查 GSC「页面」报告，逐项处理“已抓取未收录”条目。
PART 05 高频问题解答 |
新站多久能被 Google 收录？
无固定时限。主动提交 Sitemap 并结合 GSC「网址提交」功能，通常需 1～7 天。若无外链支撑，时间可能延长。若超两周未收录，需检查 robots.txt、noindex 设置及内容质量。
robots.txt 能“隐藏”不想公开的页面吗？
不能。robots.txt 禁止抓取≠禁止索引。若被屏蔽页面存在外链，Google 仍可能在搜索结果展示裸 URL（无标题描述）。真正隐藏需组合使用：noindex + 允许抓取。
Canonical 和 301 有何区别？何时使用？
301 是强制重定向，用户与爬虫均跳转至新 URL，旧 URL 失效；Canonical 是建议性信号，旧 URL 仍可访问，仅引导权重转移。同域名下的临时重复用 Canonical，永久迁移用 301。
React/Vue 构建的站点，Google 能正常索引吗？
可以，但效率较低。JS 渲染需排队，可能延迟数天至数周。建议：关键落地页采用 SSR/SSG，非关键页至少做预渲染。利用 GSC「网址检查」中的实时测试与截图功能确认渲染效果。
GSC 显示“已抓取—未收录”怎么办？
优先排查：是否为薄内容（字数少且无实用价值）？是否存在高度重复？是否有错误的 noindex 或 Canonical 设置？若均无异常，可通过 GSC「网址提交」手动请求重新索引，并加强该页面的内链建设与内容优化。
SUMMARY 总结 |
Crawlability 决定 Google 能否访问页面，Indexability 决定页面能否进入索引库。唯有跨过这两道门槛，内容优化、关键词布局及外链建设才具有实际意义。
核心关注点：robots.txt 放行资源文件、Sitemap 规范化、扁平结构与内链建设、分面导航控制、Canonical 正确配置、CSR 渲染兜底、hreflang 双向标注、移动端内容一致性以及 GSC 索引报告的持续监控。
技术 SEO 非一次性配置，而是持续的监控与优化过程。确保页面被顺利发现、抓取、渲染及收录，是后续所有 SEO 工作的基石。