搜索引擎必须抓取并索引您的网站，它才能在自然搜索结果中获得排名。因此，如果搜索引擎无法访问您的内容，优化内容就毫无意义。
这是“SEO操作指南”系列的第九期。之前的系列文章包括：
- 第一部分：为什么要使用？
- 第二部分：了解搜索引擎
- 第三部分：SEO的人员配置与规划
- 第四部分：关键词研究概念
- 第五部分：分析关键词数据
- 第六部分：优化页面元素
- 第七部分：将关键词映射到内容
- 第八部分：架构与内部链接
在“第二部分”中，我讨论了搜索引擎如何抓取和索引内容。任何限制可抓取页面的因素都会损害你的自然搜索表现。
意外屏蔽
这是搜索引擎优化中最糟糕的情况：公司重新设计了网站，但有机流量突然暴跌。网络分析数据显示，首页流量相对稳定，但产品页流量下降，且新的浏览网格页面在 Google 中完全找不到。
发生了什么？你可能遇到了抓取或索引问题。
爬虫技术已经取得了长足进步。各大搜索引擎声称它们的爬虫能够抓取 JavaScript。这在一定程度上是正确的。但开发人员如何编写每一段 JavaScript 代码，决定了搜索引擎能否访问或理解该内容。
你的浏览器比爬虫宽容得多。在你的浏览器中能正常渲染并运行的内容，对爬虫来说可能无法抓取。例如，爬虫可能无法识别内部链接（导致整个板块成为孤立页面），或无法正确渲染页面内容。
最先进的机器人会像人类在更新后的浏览器中看到的那样来解读页面，并将信息发送回搜索引擎，以渲染不同的状态，从而获取更多内容与链接。
但这依赖于最先进的搜索爬虫 (i) 抓取你的页面，(ii) 识别并触发导航中的非标准链接编码等元素，以及 (iii) 评估页面的功能和含义。
传统爬取依赖 HTML 文本和链接来即时判断相关性和权威性。但针对 JavaScript 的高级爬取可能需要数周时间——甚至可能根本无法完成。
简而言之，请投入时间识别并解决您网站上的爬取障碍。
爬取测试
不幸的是，诸如 DeepCrawl 和 Screaming Frog 的 SEO Spider 等公开可用的工具无法完美复制现代搜索引擎爬虫的行为。当搜索引擎爬虫能够访问内容时，这些工具可能会显示负面结果。
Screaming Frog 的 SEO Spider 和 DeepCrawl 都是有助于识别潜在爬取错误的工具。然而，它们都无法完美地复制搜索引擎爬虫的行为。
测试搜索引擎爬虫是否能够爬取整个网站的第一步是检查 Google 的索引。在 Google 搜索栏中，在您想要检查的任何 URL 前输入“site:”，例如：
site:www.mysite.com/this page/
站点查询会返回以您输入的 URL 字符串开头的已编入 Google 索引的页面列表。如果您的分析数据中缺失的页面在 Google 索引中也缺失，那么您可能存在爬取障碍。然而，如果这些页面已被索引但未带来有机流量，则您可能存在相关性或链接权威性问题。
你也可以通过“URL 检查”工具在Google Search Console中查看索引情况——但一次只能检查一个页面。
如果站点查询未能发现页面，请尝试使用 Screaming Frog 或 DeepCrawl 爬取您的网站。让爬虫在您的网站上运行，并查找特定类型的缺失部分——例如浏览网格、产品详情页、文章等。
如果您在爬取中没有发现漏洞，那么您的网站很可能可以被爬取。搜索引擎爬虫的能力再次优于爬取工具。如果工具能够获取网站的内容，搜索引擎爬虫也能做到。而在爬取工具中发现的问题可能是假阴性结果。
此外，在预生产环境中使用爬虫工具来识别抓取问题，以便在上线之前发现它们，或者至少让你对上线后将面临的问题有个大致了解。
参见“第十部分：重新设计、迁移、URL 更改。”