“Ask an Expert”是一个不定期推出的栏目，我们会向电子商务领域的专家请教来自线上商家的各种问题。本期内容聚焦于如何让电商网站的所有页面被Google完全收录，该问题来自英国汽车零部件及配饰零售商Performance Motorcare Products的首席执行官Robert Mobberley。
针对这一问题，我们请教了Stephan Spencer，他是SEO技术公司Covario的SEO策略副总裁，也是Practical eCommerce在搜索引擎和搜索引擎优化领域长期供稿的资深作者。
Robert Mobberley
Robert Mobberley：“我们在自然搜索优化（SEO）上投入了大量时间和精力，已获关键词收录并取得了良好效果。然而，我们注意到仍有大量页面未被Google收录。为确保这些页面能尽快被Google收录，我们的SEO经理应优先采取哪五项（或更多）关键行动？”
Stephan Spencer
Stephan Spencer：“您的问题没有放之四海而皆准的答案。索引不完整是一个非常复杂的问题，在推荐具体行动方案之前，需要进一步调查和分析。您从其他指向您的链接中获得了多少PageRank？您的网站规模有多大（即页面数量）？网站越大，所需的PageRank就越多，您在分配PageRank时也需要更加高效。
“一个在站点中需要点击10次才能到达的页面，可能在Google中的表现不会太好。如果你的某些页面具有过于复杂的URL结构（例如包含过多动态参数或长度过长），这可能会阻碍它们被纳入Google的索引。如果连续重定向次数过多，也可能导致页面无法被索引。或者如果你存在垃圾链接行为，又或者你有大量重复内容。问题并不只是简单地列出一个完整的URL清单并将其放入XML Sitemap文件中。那只是在治标，而没有解决你网站真正的问题。”
“在您这个具体案例中，我认为这是多种因素共同作用的结果。我怀疑您元标签中的关键词堆砌行为是否导致了惩罚。根据SEOmoz Linkscape工具的数据，只有75个域名链接到您的网站，因此在我看来，您的网站重要性并不突出。”
“你存在规范化问题。具体来说，Google索引中的某些页面来自 www.performancemotorcare.com，有些来自 performancemotorcare.com，还有些来自 https://www.performancemotorcare.com。这会导致重复内容和PageRank稀释。可以通过301重定向或规范标签来解决这个问题。虽然这些单独来看都不是‘罪魁祸首’，但它们可能是促成因素。”
“这会不会仅仅是因为你的 robots.txt 文件中有错误？我在你的 robots.txt 中发现了一条禁止指令（‘Disallow: /cgi-bin/’）。然而，你的首页上展示了许多‘畅销产品’和‘新品’；这些URL都包含‘cgi-bin’，因此它们都被禁止收录了。我觉得这很奇怪。这是故意的吗？”