电子商务网站在排名方面最常见的问题之一是部分网页未被搜索引擎收录。造成这一问题的原因多种多样,从复杂的 URL 字符串、缓慢的服务器响应,到缺乏合理的内部链接结构等都有可能。如果 Google 找不到你的页面,它们就不会出现在搜索结果中。
搜索引擎希望在其数据库中包含尽可能多的高质量页面,因为这能提升用户体验。更好的用户体验意味着更多的流量,从而带来更高的广告收入。因此,人们做出了多项努力,以便让网站管理员更有效地将其网站纳入索引。本文讨论了 Google 和 Yahoo! 为增强现有方法、以发现尽可能多的网站 URL 所做出的努力。
首先是 Google Sitemaps
今年早些时候,Google 推出了 Google Sitemaps 工具,允许网站所有者创建一个 XML 或纯文本文件,列出网站的所有 URL,以便纳入 Google 索引。每个文档最多允许包含 50,000 个 URL;如果超过此数量,只需创建另一个站点地图即可。
Google 将此工具作为对 Googlebot(Google 的网络爬虫)自行通过抓取网络所能发现内容的补充。在某些网站可能难以被收录的情况下,向 Google 提供站点地图有助于将缺失的页面纳入 Google 的搜索结果。
Google 免费提供这项测试服务,且操作相当简单。然而,作为一项测试版服务,它不提供任何保证。
那 Yahoo! 呢?
Yahoo! 长期以来一直提供免费网站提交表单,注册用户每次可以提交一个 URL。不保证会被收录,除非在 Yahoo! 搜索结果中查看你的网站,否则无法知道你的网站是否已被接受。
对于希望向雅虎提交大量网址的公司而言,雅虎搜索提交付费收录计划提供了确保其网站被纳入雅虎自然索引的机会,搜索结果会与由雅虎网络爬虫 Slurp 自然发现的网址混合显示;该计划按收录的每个网址收取费用,并根据业务类别按点击次数收费;与赞助列表不同,使用搜索提交付费收录计划不会影响排名,仅保证网站会被纳入雅虎搜索引擎索引,且所有链接每 48 小时会被重新抓取一次。
你也可以每年支付 299 美元给 Yahoo!,以被纳入 Yahoo! 目录。即使付费,也不保证会被接受,或者你建议的标题、描述和分类会被使用。
然后是 Yahoo! Sitemaps
雅虎在圣何塞近期举行的搜索引擎策略大会上,由其 Tim Mayer 在关于索引的环节中首次推出了面向雅虎的免费批量网址提交选项;此前,网站要么通过 SLURP 网络爬虫被发现以进入自然搜索结果,要么一次只能提交一个网址;现在,雅虎提供了使用雅虎免费提交服务一次性提交多个网址的选项;注册雅虎账户是必需的,但免费注册。
工作原理如下:在文本文件中列出所有希望被收录的 URL,并将其命名为类似 urllist.txt 的文件(Yahoo! 的建议)。你也可以提供压缩文件,并命名为 urllist.gz。例如:domainname.com/urllist.txt。
如果你正在为 Google Sitemaps 提供纯文本 URL 列表,那么你可以将该文件同时用于 Yahoo!。将文件放在网站的根目录中,并通过 Yahoo! 免费提交表单提交该文件的 URL。
与其付费将网站纳入 Yahoo! 索引,许多拥有可抓取 URL 的网站可能更适合使用 Yahoo! Sitemap 提交选项,而非 Search Submit 付费收录服务。其权衡在于:付费收录无法保证一定被收录;如果您的网站频繁更新,这些更改需等待 Yahoo! 网络爬虫重新抓取后才会反映在搜索结果中。而通过 Search Submit 付费收录,您的 URL 每 48 小时就会更新一次。
需要强调的是,收录并不等同于搜索引擎优化(SEO)。但收录非常重要,因为如果没有任何页面或部分页面未被收录进搜索引擎的索引中,您可能会错失大量自然搜索流量。向 Google 和 Yahoo! 提交站点地图不会产生任何已知的副作用,并且由于有更多页面可供展示在搜索结果中,还可能提升您网站的整体排名。

