在网站重新设计、迁移平台或更改域名期间,自然搜索流量下降并不罕见。恐慌通常始于尝试各种方法数周后,但流量仍未恢复。
在本文中,我将带你了解我用来加速解决这一棘手问题的流程。
识别根本原因
与其花大量宝贵时间对网站进行全面搜索引擎优化(SEO)检查清单,我更倾向于专注于那可能导致80%问题的20%故障。这种方法可以实现更快、渐进式的恢复,从而留出时间稍后处理其他问题。
当自然流量下降时,通常是由表现良好的页面减少、每页访客减少或两者兼有所致。我首先尝试确定是哪种情况。如果表现良好的页面减少,可能存在索引问题。如果每页访客减少,则页面内容可能较弱。如果同时存在这两个问题,则可能存在页面声誉问题——即指向该站的高质量链接减少。重复内容和陈旧内容都会稀释页面声誉,链接惩罚也是如此。
使用此框架,可以隔离出可能损害流量的问题。我见过的常见错误包括:
- 缺失、不正确或不完整的URL映射——降低页面声誉;
- 大规模URL合并导致站点规模缩小——内容减少;
- 新的无限爬取空间(下文将解释)——索引页面减少;
- 不利于SEO的新无限滚动功能——内容减少;
- 反向链接惩罚——降低页面声誉。
以下是我快速收集证据的关键位置:
- Google Search Console 中的 404 错误;
- Google Analytics 中的着陆页自然流量报告;
- Google Search Console 中的索引状态和 XML 站点地图报告;
- Google Search Console 中的 URL 参数设置;
- Google Search Console 中的最新链接报告。
在后续步骤中,每个潜在问题都是一个需要验证或证伪的假设。为此,我使用数据科学工具来整理已收集的证据,并通过数据可视化进行探索。
该技术最重要的部分是培养提出正确问题的直觉。这些问题应决定收集哪些数据和证据,以及如何处理和可视化它们。
接下来是一次实际的调查,使用真实的客户数据,以理解这一数据驱动框架。
证据收集示例
最近,我在一家知名品牌零售商的平台迁移和重新设计项目中提供了帮助,为 2016 年假日季做准备。我们从六月开始为公司提供建议,新网站于十月初上线。但在上线之前,即九月初,该网站的自然搜索流量就开始出现下降趋势,因为与自然年相比,自然流量下降了约 20%。
客户希望借助新的网站设计扭转这一趋势。
我们仔细规划了一切。我们通过 301 重定向将所有旧 URL 映射到新 URL。我们在测试环境中进行了多轮测试和审查。
请注意,我们在上线前没有更改标题标签(title tags)。我倾向于不在重新设计期间更改标题标签。相反,我更喜欢在上线后几周再更改。这是因为根据我的经验,标题标签的更改可能会导致重新排名。因此,最好以更可控的方式更改它们,以便如果它们未能改善性能,您可以回滚更改。
但是,无论如何,上线几周后,自然流量进一步下降,与上一年相比下降了约 40%。但幸运的是,我们找到了问题所在。
使用我们的框架,我们问自己:我们是失去了页面、每页访客数,还是两者兼有?我们收集了数据并绘制了图表,以便进行可视化展示。
图中黄色部分显示的每页访客(用户)数量在底部保持相对稳定,但蓝色线条显示的收录页面数量却下降了;2016年11月修复该问题后扭转了这一趋势。点击图片放大。
结果显而易见。在上方的图表中,即使在下降趋势期间,每页的访客数量也几乎保持平稳(见下方的黄色线条)。但获得流量的页面(蓝色线条)却急剧下降。
这项关键的数据分析和可视化工作节省了宝贵时间。我不需要去排查内容问题,而是可以专注于索引问题。通过查看 Google Search Console 中的索引状态(如下所示),我们能够确认存在索引问题。
注意新站点上线时收录页面出现的初始峰值,随后是持续下滑,最后在11月初出现修正后的回升。点击图片放大。
接下来,我们需要确定Google为何丢弃页面,因此我们查看了Google Search Console中的URL参数——Search Console > Crawl > URL Parameters——以寻找无限抓取空间的迹象。
“无限抓取空间”这一话题值得解释一下;无限抓取空间常出现在拥有庞大数据库的网站中(如大多数电商平台),会导致搜索引擎机器人陷入无尽循环地抓取页面;例如分层或引导式导航可能产生近乎无限多的选项;无限抓取空间会浪费Googlebot的抓取预算,并可能导致重要页面无法被收录。
然而,在这个例子中,我们并没有无限的爬取空间。如果有的话,我们会看到参数生成的 URL 数量远远多于网站上实际存在的数量。
随后我们检查了Google Search Console中的404错误,位于Search Console > Crawl > Crawl Errors;我们惊讶地发现一些已正确映射的URL被列为404错误;我们点击了报告为错误的页面,正如预期,正确的页面进行了重定向并正常加载,它们看起来并不像是404错误。
Google Search Console将已正确映射的URL报告为404错误。点击图片放大。
然后我打开 Google Chrome 开发者工具重复了相同的测试。但这次我检查了来自 Web 服务器的响应。果然!页面加载出了正确内容,但它向浏览器和搜索引擎报告说该页面未找到。
Google会对404页面进行为期24小时的“保护”,之后将其从索引中移除;我们与开发公司合作,修正了状态码;后来我们还发现了重定向中的另一个问题,即未保留旧URL中的冗余参数,这会影响付费搜索追踪及其他营销活动;所有问题均得到及时解决;在等待Google重新抓取网站后,自然流量开始增长;最终,自然流量远高于2015年的水平。
简而言之,如果你正经历自然搜索流量的下降趋势,不要惊慌。采用科学的方法框架,就像我在本文中描述的那样。先隔离导致下滑的大致原因,然后开始调查并解决问题。

