这是我的“SEO 201”系列第三部分，此前已发布：
- 第一部分：技术规则；
- 第二部分：爬取与索引障碍。
“SEO 201”侧重于网站架构与组织的后端技术层面。而我的8-part “SEO 101”系列则讲解了利用网站内容服务搜索引擎的基础知识，包括关键词研究和优化。
技术SEO至关重要，它决定了其他所有优化工作的有效性。若页面技术对爬虫不可见，无论内容如何优化都无法提升排名。因此，我们必须学会像搜索引擎爬虫一样体验网站。
规则2：不要相信你的经验
让搜索引擎抓取网站只是第一步。爬虫访问时看到的内容，可能与你在浏览器中看到的截然不同。
有效的技术SEO要求你质疑自己所见。因为搜索引擎访问的是大幅精简的版本，不同于你和客户的实际体验。不仅图片对爬虫不可见，受限于后台技术，整个页面或网站的某些部分也可能无法被抓取。
例如，浏览迪士尼商店（Disney Store）主页时，你会看到设计精良、包含丰富视觉元素和导航选项的页面。但这仅适用于能渲染JavaScript和CSS的真人用户。
迪士尼商店主页：访客视角（左）与以红色标示的对搜索引擎不友好内容的视图（右）。
对搜索引擎不可见的内容包括一个轮播图（含五个分类和促销落地页链接），以及235个特色产品链接。在特色产品区，仅有立即可见的五款产品可被抓取。其余235款产品虽通过分页和标签链接导航，但传统爬虫无法抓取这些链接。
就迪士尼商店而言，此问题影响较小，因为这些不可访问区域的内容可通过其他导航链接被抓取索引。但若这些区域是通往相关内容的唯一路径，将对SEO产生重大影响。
SEO、CSS、JavaScript和Cookie
迪士尼商店中不可抓取的推广和导航元素依赖JavaScript和CSS显示。我曾与许多大型电商品牌合作，发现它们因导航依赖CSS和JavaScript而在产品目录方面遭遇SEO问题。我还参与过一个网站，其导航功能完全依赖Cookie才能正常运行。
搜索引擎爬虫无法接受Cookie，且传统上不使用CSS、JavaScript、Flash及iframe进行爬取。大多数提升客户体验的技术要么不可爬取，要么仅呈现极少可见内容。因此，依赖这些技术渲染内容和链接的页面及其导航结构，将无法被传统爬虫访问。
在自然搜索中，没有爬取就意味着没有索引、没有排名，也就没有客户。
解决方案是采用渐进增强（progressive enhancement）开发网站。即从基础HTML展示（文本和链接）开始，再为具备相应浏览器能力的客户叠加高级技术。渐进增强既符合无障碍标准，也有利于SEO，因为部分视障和残障客户使用的浏览器能力与搜索引擎爬虫相似。
需注意，我多次提到“传统搜索引擎爬虫”。有些爬虫技术更先进，有些则本质上是文本阅读器。例如，Google部署了能执行JavaScript和CSS的无头浏览器（headless browsers），用于检测试图利用传统文本爬虫弱点的垃圾内容。比如，用CSS将白色文字显示在白色背景上以隐藏关键词的做法，很容易被无头浏览器识别并惩罚。
然而，由于搜索引擎仍在使用传统的基于文本的爬虫，切勿将SEO表现寄托于“所有爬虫都是无头浏览器”这一极小概率事件。请确保在禁用Cookie、CSS和JavaScript时，网站仍可导航且包含所需内容。具体方法请参阅前文《SEO：像搜索引擎蜘蛛一样浏览》。这是摆脱营销人员固有认知、真正理解搜索引擎视角的最佳方式。
开发一个允许所有搜索引擎爬取并索引目标内容的网站，是提升SEO性能的最佳途径。
SEO与地理位置定位
地理位置定位相关的SEO问题最难发现，因为你无法像禁用JavaScript那样通过插件将其关闭。这种定位会在未通知用户的情况下应用，导致用户难以察觉其对不同用户及爬虫体验的差异。
看不到差异不代表差异不存在。在我处理过的极端案例中，整个州或国家的所有内容都对搜索引擎不可访问。
地理位置定位可能引发问题，因为Google爬虫来自加州圣何塞IP，Bing爬虫来自华盛顿州IP。它们始终接收各自所在地的内容。若机器人仅根据IP接收内容，便无法爬取索引其他地区内容，导致相关内容不出现在搜索结果中，也无法带来自然流量或销售。
尽管如此，地理位置定位对提升客户体验价值极高，且可通过适当方式实施而不损害SEO。为确保各地排名，网站必须提供手动覆盖功能，允许客户和爬虫通过纯HTML链接选择其他地点。传统的“更改位置”或旗帜图标链接，引导用户查看地区列表，很好地实现了这一目标。
此外，地理位置定位应仅在访客入口页面进行。若每页都定位，客户和爬虫每次点击链接都会根据IP被重新定向。
SEO与您的平台
没人会故意构建无法被爬取的电商网站。问题在于，看似无关的决定由聪明人在会议中做出，却可能对技术SEO产生重大影响。
网站平台有其特有的缺陷、功能和内容组织展示方式，这些都可能改善或损害SEO。即使是最符合SEO要求的平台，开箱即用也会对优化施加限制。
例如，某些平台SEO表现优异，直到触及产品目录筛选功能。不幸的是，一些对客户搜索至关重要的属性被隐藏在筛选器中。由于平台不允许优化筛选页面，这些有价值页面无法为相关关键词赢得排名，若无自定义代码，也无法带来有机搜索销售。
遗憾的是，每个平台的限制各异，且关于如何绕过限制优化的详细信息非常匮乏。
调查平台可尝试两件事。首先，阅读《SEO：像搜索引擎蜘蛛一样浏览》，使用推荐插件在网站上浏览20分钟。若发现某些区域无法访问或页面内容判断困难，可能存在SEO问题。
其次，分析网络分析的有机搜索入口页面报告及Google站长工具的“顶级页面”报告。关注缺失内容：是否存在某些页面类型或网站部分未能获得应有的有机搜索流量？
这两种调查角度都能揭示本文涵盖的技术问题。请与开发人员集思广益寻找解决方案，或寻求一家在电商优化和平台实施方面有经验的SEO机构协助。
欲了解《SEO 201》系列下一期内容，请参阅“第四部分：架构是关键。”