我从未接触过完全不存在重复内容的电商平台。有些平台在控制内容蔓延方面做得更好，但设置或代码中的任何一项更改都可能意外产生重复内容——即同一份内容拥有不同 URL 的不同页面。
爬虫发现并索引这些重复内容会导致爬取配额浪费、新内容发现速度变慢以及链接权重的分散。
根据平台和实现方式的不同，以下七种问题中的任何一种都可能导致重复内容。
我从未接触过完全不存在重复内容的电商平台……
基于关键词的 URL
关键词 URL 掩盖了电商平台通常会生成的不友好 URL。系统仍会为其自身目的生成不友好的 URL，然后将你的关键词 URL 映射到该 URL。例如：
- 原生且不友好的URL：/shop/en/US845US845/69i57j0l72750j1j1.htm
- 关键词URL：/house/widget.htm
好消息是，不友好的 URL 对消费者没有任何价值。修复方法是将不友好的 URL 通过 301 重定向到其友好的变体。
基于分类的 URL
位于多个分类或子分类中的产品可能拥有不同的 URL。例如，属于“House”和“Apartment”分类的小部件（widget）可能拥有相同的页面，但分别反映分类的独立 URL，如下所示：
- /house/widget.htm
- /apartment/widget.htm
购物者在浏览时需要看到所有产品页面的变体，因此我们不能将一个页面 301 重定向到另一个页面。我们有两个修复选择：
你可以为每个类别创建独特的产品页面，这适用于具有多种使用场景的产品；相反，对于仅有一种用途的产品，请指定一个类别的产品URL为主URL，并对每个次要URL应用规范标签（canonical tag）。（规范标签是一段HTML代码片段，用于将另一个URL指定为该页面的主要或“规范”版本。）
基于点击路径的 URL
如果你的分层导航是可索引的，访问者可能会通过不同的点击路径到达相同的内容。在URL中显示该点击路径既能为访问者和搜索引擎提供丰富的关键词信号，也会产生重复内容，例如：
- /house/blue/large/widget.htm
- /house/large/blue/widget.htm
解决方法是插入一个规范标签。只要参数在 URL 中体现，顺序并不重要。
大小写
大写和小写字母是不同的字符，因此可能为同一内容托管不同的 URL，搜索引擎可能会分别收录它们。例如：
- /page.htm
- /PAGE.htm
- /pAge.htm
- /pagE.htm
其中一些只有在有人意外链接到它们时才会被收录，例如由于 URL 中的拼写错误。
访客不需要看到不同的大小写变体。因此，你可以对其中一个 URL（通常是全小写版本）应用规范标签或 301 重定向。
协议和子域名
URL的协议（http与https）和子域名（带或不带www）变体也会引入重复内容。例如，以下URL可能会生成四页内容完全相同的页面，供搜索引擎索引：
- http://domain.com/page.htm
- https://domain.com/page.htm
- http://www.domain.com/page.htm
- https://www.domain.com/page.htm
解决方法是 301 重定向到规范版本。
排序参数
允许访客按价格、人气、评分或其他标准排列产品的排序功能对于可用性至关重要。但它会生成许多搜索价值较低的页面。例如，下面只有第一个应该被收录：
- /house/widget.htm
- /house/widget.htm?num=24
- /house/widget.htm?price=low
- /house/widget.htm?pop=high
要修复此问题，请使用规范标签告诉搜索引擎哪个URL是规范版本。或者，使用搜索引擎无法抓取的AJAX形式来编码排序功能，从而消除重复内容的可能性。
网站的历史版本
更改你的网站若以影响产品分类或标签的方式操作，可能会改变这些页面的URL。许多平台会直接放弃旧URL并继续使用新URL。例如，假设你的网站有一个“家居与花园”类别，其URL为/home-garden/。将其拆分为单独的类别会产生两个新URL：/home/ 和/garden/。
稍后，如果你将“Home”类别重命名为“House”，URL可能会相应地更改为/house/。结果可能会导致出现两个孤立无援的URL：
- /home-garden/
- /home/
修复方法是：将这两个孤立页面进行301重定向，或者返回404错误。不过，使用301重定向更好，因为它最终会让搜索引擎取消对该URL的索引，并且重要的是，将孤立URL所积累的链接权重传递给目标页面。