每位搜索引擎营销专业人士都应在其工具库中配备一款网络爬虫。
自然搜索的第一条也是最重要的规则是：搜索引擎必须能够抓取某个页面，该页面才能排名并带来任何流量或销售。如果搜索引擎无法抓取以发现你网站上的页面，那么在搜索引擎看来，这些页面并不存在。因此，只有搜索引擎知道存在的页面才可能出现在排名结果中。
是的，你可以创建XML网站地图来告知搜索引擎哪些页面确实存在。但仅靠XML网站地图只能让你的页面被收录。除非你在这些页面的排名中没有任何竞争，否则仅靠XML网站地图并不能帮助你获得排名。
你的SEO表现取决于网站的抓取深度。因此，你必须分析网站的抓取情况，以便优化你的网站。
我的爬虫推荐位于本文末尾。首先，我将重点介绍抓取你网站的具体原因。
自然搜索的第一条也是最重要的规则是：搜索引擎必须能够抓取某个页面，该页面才能排名并带来任何流量或销售。
了解网站上有哪些内容
通过模拟Google传统网络爬虫行为的爬虫，确切地找出你的网站上有哪些页面、没有哪些页面。你以为在网站上上架的产品真的存在吗？它们是否在你认为的分类中？你的平台是否创建了你不了解的页面？或者可能是商品运营或其他营销分支创建了某些新页面或重复页面？
查找抓取障碍
如果某个页面在抓取结束后的报告中未出现，意味着爬虫无法访问该页面。
在检查输出文件时，要特别关注缺失的内容。如果页面缺失，说明爬虫要么未完成抓取——这可以通过是否有错误提示来判断——要么爬虫无法访问这些页面。
一旦确认存在抓取障碍，你就可以根据缺失的页面类型来确定该障碍的性质。
是否所有颜色、款式和尺寸筛选器生成的页面都缺失了？你可能正面临一个非常常见但极具破坏性的SEO问题：AJAX筛选器在不更改URL的情况下刷新并缩小屏幕上显示的商品范围。
如果包含特定字母组合的URL页面缺失，那么你的robots.txt中的某条禁止指令可能禁用了超出预期的内容。整个网站都缺失了吗？请检查robots.txt中是否存在全局禁止指令，或meta robots NOINDEX命令。
了解哪些URL被禁止抓取
某些爬虫会明确告诉你哪些页面可以被抓取但因robots.txt中的禁止指令而被阻止。这一功能使得查找并修复文件变得非常容易，从而允许那些被意外禁止抓取的页面被正常抓取。
查找 404 错误
大多数电子商务网站都存在 404 错误。许多网站会为每个已停产的产品显示一个 404 错误页面。但这些错误页面往往对顾客有用，且通常无法通过网站的导航进行抓取。换句话说，当产品停产后，你不应再链接到该产品页面。搜索引擎知道它曾经存在（因为已被索引），因此会看到 404 错误并最终将该页面从索引中移除。
然而，搜索引擎将通过网站导航链接到的 404 错误页面视为客户体验不佳的标志。与其他信号结合，或在数量足够大时，404 错误可能会开始降低搜索排名。
获取 404 报告还有其他方法，但它们仅显示返回 404 错误的 URL。网络爬虫会特别指出哪些错误页面以搜索引擎可抓取的方式被链接。该工具还能识别有多少页面以及哪些页面链接到了每个错误页面，从而帮助找出导致错误的根本原因以便解决。
识别重定向
除了 404 错误外，爬虫还会识别重定向。任何 302 重定向都应检查是否有机会将其转换为 301 重定向。所有重定向都应审查，以确定在爬虫到达返回“200 OK”的“真实”页面之前发生了多少次重定向，并确定最终目标页面是否确实是应停留的正确页面。
Google 曾表示，每个 301 重定向会“泄漏”约 15% 传递给接收页面的权重。因此，如果可能，请尽量减少页面重定向到其他重定向的次数。
查找低质量元数据
在 Excel 中进行简单的字母排序即可识别出哪些标题标签是重复的或编写不当，前提是你能够将数据导出到 Excel。网络爬虫非常适合此目的。它还将收集元描述和元关键词字段以供审查。当你能够快速优先处理最需要帮助的领域时，优化工作会容易得多。
没有网络爬虫，审查元数据往往是碰运气。抽样检查足够多的页面以确保它们具有正确的元数据非常繁琐，而且你未审查的页面很可能包含错误的标签。对于像 robots noindex 这样的元标签（指示搜索引擎不要索引某页面），你未抽样的那部分页面可能会让你付出惨重代价。
分析规范标签
规范标签（Canonical tags）对许多公司来说仍然相对较新，且容易被错误使用。许多网站在每个页面上都设置了规范标签，但只是引用该特定页面本身。这不仅违背了设置规范标签的目的，还强化了这些标签旨在消除的重复内容。
审查具有重复内容的页面的规范标签，确保该内容的每个重复版本都引用同一个规范页面。
收集自定义数据
对于那些希望超越爬虫默认抓取的标准数据的人来说，自定义字段功能可以让你检查某些字段是否存在、是否已填充以及其中包含的内容。这需要一定的正则表达式（“RegEx”，用于识别字符模式）或 XPath（用于识别 XML 文档中的部分）使用经验，但你可以告诉爬虫抓取产品的价格、每个页面上的分析代码、结构化数据或 Open Graph 标签等更多内容。
获取分析数据
一些爬虫会从 Google Analytics 和 Google Search Console 等工具中抓取分析数据，并为每个爬取的页面生成报告。这在确定优化页面的相对价值方面是一个巨大的时间节省器。如果某个页面带来了更多的流量？你可以通过运行一份报告，在一个地方做出判断并查看优化页面所需的大部分数据。
爬虫推荐
找到你喜欢的爬虫并经常使用它。我最喜欢的是Screaming Frog的SEO Spider，因为它能完成上述所有功能。
Screaming Frog 生产了一款功能出色的强大爬虫，拥有优秀的功能套件。SEO Spider 可以实现上述所有功能，并且可以轻松生成可导出到 Excel 的报告。
SEO Spider 的价格为 99 英镑。考虑到该工具带来的价值，这是一个很小的代价。此外，Screaming Frog 会定期更新 SEO Spider 并为其添加新功能。
如果你需要一个免费解决方案且网站规模较小，Screaming Frog 允许你试用其软件，功能有限，最多可爬取 500 个页面。
免费且无使用限制的工具包括Xenu Link Sleuth和GSite Crawler。我相信还有其他工具，但这两个是我用过并能推荐的。
Xenu Link Sleuth 由一位单独开发者创建，他制作了一款优秀的免费工具。它已经存在了十多年，不再得到支持或更新——你的结果可能会有所不同。
我发现 Link Sleuth 在不耗尽系统内存的情况下能够比 Screaming Frog 的工具爬取得更深。Link Sleuth 允许导出为 CSV 格式，但导出的数据仅适用于：(a) 分析网站上存在的页面；(b) 查找爬取障碍；以及 (c) 发现重定向和 404 错误。
GSite Crawler 由一名前 Google 员工创建，更侧重于创建 XML 站点地图。你仍然可以使用它来分析网站上存在的页面并查找爬取障碍，但它缺乏上述许多其他功能。