教程：掌控搜索引擎爬虫

简介

大多数人都熟悉“搜索引擎蜘蛛”这一术语，并了解其与网站索引的关系。本文旨在帮助你优化网页，使其更易于被蜘蛛抓取。毕竟，蜘蛛是我们的朋友。

将蜘蛛视为自动化的网络浏览器是准确的：它访问网站、遍历页面、索引内容并跟随链接。良好的SEO策略能确保蜘蛛轻松导航至网站的每个页面及内容。虽然这说起来容易做起来难，但本教程将概述一种使用基础HTML和CSS控制蜘蛛导航的简单技术。

我们的目标是创建引导蜘蛛浏览站点的链接，这些链接对访客不可见，且不干扰网站设计。在具体操作前，我们先了解蜘蛛进入站点时的可能路径。

当蜘蛛访问主页时，首先查看HTML文档的head部分（包含元标签及CSS样式声明），随后进入body部分（即用户浏览器视觉显示的部分）。由于蜘蛛只需读取代码而非视觉呈现，它会忽略CSS格式。这正是我们技巧生效的原因：通过CSS对用户隐藏部分HTML代码，但蜘蛛在迁移时仍会读取这些代码。

基于此，我们可以制定策略，确保蜘蛛顺畅导航并按预期顺序索引内容。例如，优先引导蜘蛛至页面内容，其次是站点导航、法律信息，最后是站点地图。通过对每个网页执行此操作，我们确保所有内容被索引且易于查找。与其被动等待，不如主动控制蜘蛛的导航方式。

说明

如前所述，目标是将蜘蛛引导至相关信息。我们将使用一个HTML div元素、若干锚点标签（超链接）及简单的CSS实现。由于蜘蛛在<body>标签后进入网页，所有代码应直接置于该标签下方。

首先，创建一个可操作的HTML区块。我们使用div标签（包含开始与结束标签）。作为块级元素，它在浏览器中独占一行；与之相对的内联元素（如超链接）则不会换行。对我们而言，重点在于div标签内的内容将被分组，而非其屏幕外观，因为目标是让其完全隐藏。代码如下：

创建div元素后，需规划蜘蛛的爬行路径。本例中，每个页面有三个关键部分需覆盖：首先是核心页面内容；其次是站点导航（通常为超链接菜单），确保蜘蛛能到达所有页面；再次是页脚中的法律信息；最后是链接至全站页面的站点地图。

定义策略后，需在页面中添加供蜘蛛跟随的链接。HTML链接由锚标签创建，并通过属性指定目标。例如，以下链接会将用户发送至Practical eCommerce网站：

此外，锚标签也可用于定义页面内区域。许多长滚动网站设有“Back to Top”链接，点击即可返回顶部而无需手动滚动。这是通过在HTML页面中设置锚点作为超链接目标实现的。页面顶部的锚点标签如下：

注意，这与超链接标签类似，但省略了href属性，使其成为锚点而非外部链接。同时赋予“name”属性以确保唯一性，且标签间无文本，故不会在屏幕上显示。

接下来，创建指向该锚点的“Back to Top”超链接：

此处href属性改为#top，#符号表示链接至命名锚点而非外部网页。点击后浏览器将跳转至对应位置。同理，我们应在各特殊部分开头放置锚点标签——页面内容、站点导航和法律信息：

这些锚点即为蜘蛛的目标。下一步是在之前创建的div元素内添加供蜘蛛跟随的链接（为便于阅读分行显示，非必需）：

至此，蜘蛛进入页面后将按序被引导至页面内容、站点导航、法律信息及站点地图。但目前链接会显示在屏幕上，可能干扰设计或造成困惑。因此，最后一步是向用户隐藏这段代码。

我们需要声明CSS样式来隐藏代码。样式可在HTML页面的head部分或外部CSS文档中声明（详见之前的CSS教程）。假设HTML页面链接到外部CSS文档，在其中创建id选择器并分配样式：

#符号标识ID选择器。上述代码为id为hidden_links的元素设置了display:none，使其不在浏览器中显示。最后，将此样式应用于div元素，即在打开的div标签中添加id属性：

至此完成。现在，当搜索引擎爬虫遍历网页时，会被引导至我们希望索引的内容并按预期顺序处理。通过检查网页并插入几行HTML代码，我们便获得了对搜索引擎爬虫索引方式的主动权。