我是视觉学习者。我需要看到并互动才能理解事物，因此在首次深入某个网站以审查其搜索引擎优化问题时，模仿搜索引擎蜘蛛的行为对我很有帮助；我喜欢将其视为“扮演机器人”。
要记住的关键点是，搜索引擎爬虫没有启用JavaScript、CSS或Cookie，它们无法“看到”嵌入在图像、Flash、视频或音频等媒体文件中的内容。去掉这些元素后，你剩下的是什么？纯HTML、文本和链接。在许多情况下，页面的整个焦点变得难以解读，在某些情况下甚至无法导航。这令人惊叹地展示了爬虫（即搜索引擎robots）在爬取网站时面临的结构性挑战。
模拟搜索引擎蜘蛛
Chris Pederick开发的Firefox的Web Developer Toolbar将使像搜索引擎蜘蛛一样浏览网页变得更加容易。在本练习中，请专注于工具栏中黄色高亮显示的部分，并选择以下功能：
- 禁用 > 禁用 JavaScript > 所有 JavaScript
- Cookies > 禁用 Cookies > 所有 Cookies
- CSS > 禁用样式 > 所有样式
- 图片 > 禁用图片 > 所有图片
- 访问任意页面，您的浏览体验将大致类似于机器人。如果您已经处于要测试的页面，请重新加载该页面以获得完整体验。
另一种确认 Googlebot 所见内容的方法是访问 Google 的纯文本缓存（已禁用 JavaScript、Cookies 和 CSS）。它应与禁用所有这些功能后的实时页面外观一致。如果不一致，则可能该网站存在某种用户代理或机器人检测机制，从而向搜索引擎爬虫提供不同的体验。
让我们进行一次试驾。在许多主要消费品牌网站上，差异非常明显，因为它们的网站往往依赖 Flash 和 JavaScript 来呈现精美、引人入胜且互动的品牌体验。但这会为此类自然搜索流量及其带来的销售付出什么代价呢？
窥探维多利亚的秘密
我们将从Victoriassecret.com开始，这是一个品牌意识非常强的网站。
首先，页眉和页脚导航需要 JavaScript 才能加载，这实际上使搜索引擎蜘蛛以及未启用 JavaScript 的访客无法看到网站的导航结构。
主要内容基于图片。搜索引擎爬虫可爬取的页面上唯一文本是七张特色图片中的替代属性（alt attributes）文本。这些少量的 alt 属性文本与图片一样，完全旨在吸引人类用户点击。毫无疑问，这是主页的重要功能。然而，维多利亚的秘密将其主页的关键主题对搜索引擎保密。标题标签（title tag）提供了页面上唯一的聚焦关键词信号。
如果我们查看维多利亚的秘密的网络分析数据，我敢打赌，其绝大部分自然搜索流量和销售来自品牌搜索词（如“victorias secret”），而非品牌词（如“lingerie”）所占比例极小。尽管维多利亚的秘密在主页上着力展示连衣裙、泳装和凉鞋，但它几乎不可能在这些非常热门的夏季时尚搜索词的非品牌搜索中获得排名。简而言之，为 www.victoriassecret.com 创建强有力的文本信号并确保导航可被爬取，是赢得非品牌流量和销售的第一步。
阿迪达斯怎么样？
现在让我们回顾另一个例子，Adidas.com。
阿迪达斯采用了一种称为优雅降级（graceful degradation）的策略，当访问的用户/代理不支持 JavaScript 或 CSS 时，提供可爬取的基于文本的体验。这对人类眼睛来说肯定不够美观，但这并非其设计目的——华丽炫目的 Flash 版本才是为此而设。对于机器人或阅读纯文本的人类用户而言，该体验完全可导航。
话虽如此，Adidas 应更加关注其提供的文本内容。虽然文本和链接的数量充足，但模板及所用词汇未能形成连贯的关键词主题。首页缺乏有力的标题标签（title tag）和 H1 标题，却存在多个 H3 标题。标题标签和 H3 标题中的文本未能传递出 Adidas 在鞋类、运动、体育或其他相关关键词市场中具有强大竞争力的信号，而这些市场本应是 Adidas 理应能够占据的领域。
总结
移除那些我们人类被训练去关注的视觉信号——如闪亮、光亮的图片和动画——会迫使我们审视网站在每个页面上真正传递的文本信号。如果这些文本信号薄弱、缺乏焦点或根本不存在，搜索引擎将更难在真实客户搜索其产品时，将您的网站与热门搜索词匹配起来。