长期以来一直有一种观点，搜索引擎——尤其是Google——会对复制内容或生产与互联网上其他网站大致相同内容的网站进行惩罚。但是，我要告诉你，重复内容惩罚是一个神话。
可以这样想：如果一个内容页面有五个链接指向它，并且该页面只在一个URL下加载，那么这五个链接都会将其权重传递给同一个URL。但想象一下，同样的内容页面有五个链接指向它，却在五个不同的URL下加载。这些针对同一内容片段的重复URL各自只获得一个链接的权重传递，每个的强度都只有那个拥有所有五个指向链接的URL的五分之一。
《重复内容惩罚》的神话导致了对真正问题的误解：链接流行度。SEO的理想情况是，一个URL对应一个页面内容，并针对一个关键词目标。我建议电子商务商家将精力集中在优化上，而不是避免所谓的惩罚。
内容重复的原因
导致内容重复的因素有很多，但对所有这些情况来说，有一句话是成立的：除非有链接指向它，否则不存在重复内容。如果一个站点存在重复内容，那是因为至少有一个链接以不同的URL指向相同的内容。指向重复内容URL的链接可能出现在附加了跟踪参数的面包屑导航中、当站点在子域名链接不一致时、当过滤和排序选项将参数附加到URL时、当打印版本生成新URL时，以及许多其他方式。更糟糕的是，每一种情况都可能加剧其他来源的重复内容问题，为同一个内容页面衍生出数百个URL变体。
首页就是一个例子。在某些情况下，域名解析为首页，但点击指向首页（相同的内容页面）的导航链接会导致不同的URL。Banana Republic曾有18个被Google索引的首页版本，还有几个未被索引的版本，包括：
- http://www.bananarepublic.com/
- http://bananarepublic.gap.com/
- http://bananarepublic.gap.com/?ssiteID=plft
- http://bananarepublic.gap.com/?kwid=1&redirect=true
- http://bananarepublic.gap.com/browse/home.do?ssiteID=ON
这些首页URL中的每一个都至少有一个页面链接到它。试想一下，如果所有链接都指向每个重复的首页URL，而不是集中链接到 http://www.bananarepublic.com/，这个页面的强度会有多大。
内容重复的类型
规范问题
缺乏规范化（canonicalization）是重复内容的常见来源。规范化指的是移除重复版本，或者在SEO中，将链接流行度集中到一个单一版本的URL上，以对应一个页面的内容。考虑以下10个示例URL，它们都指向同一个虚构的页面内容：
- 规范URL：http://www.example.com/directory4/index.html
- 协议重复：https://www.example.com/directory4/index.html
- IP重复：http://62.184.141.58/directory4/index.html
- 子域名重复：http://example.com/directory4/index.html
- 文件路径重复：http://www.example.com/site/directory4/index.html
- 文件重复：http://www.example.com/directory4/
- 大小写重复：http://www.example.com/Directory4/Index.html
- 特殊字符重复：http://www.example.com/directory%204/index.html
- 追踪参数重复：http://www.example.com/directory4/index.html?tracking=true
- 旧版URL重复：http://www.example.com/site/directory.aspx?directory=4&stuff=more
这些URL可能是虚构的，但我曾处理过那些存在所有这些重复内容来源甚至更多的网站。在最严重的情况下，一个产品页面的链接人气被分散到超过1,000个URL上。如果所有链接都指向同一个URL，该页面的权重会强得多。
规范化重复内容、整合链接人气并让重复页面脱离索引的最有效方法是使用301重定向。
自我竞争
当两个或多个页面针对同一个关键词目标时，这就是自我竞争（cannibalization）。电子商务网站经常陷入这个陷阱，因为诸如分页、筛选和排序、邮件分享给朋友等功能会创建具有部分或全部相同内容的独特页面。从技术上讲，这些页面并不是完全重复的。由于可用性原因，它们需要存在，因此不能通过301重定向将其规范化为单个URL。
在这种情况下，网站所有者有两种选择：要么差异化内容以针对不同的关键词主题，要么应用规范标签（canonical tag）来建议整合链接人气，而无需将用户重定向到其他页面。
解决重复内容问题
请记住，在处理规范化和解决重复内容时，301重定向是SEO的最佳选择。如果因为URL需要为人类用户而功能正常而无法使用重定向，那么规范标签（canonical tag）是集中链接流行度的次优选择。
还有其他抑制内容的方法——例如meta noindex、robots.txt禁止访问以及404错误——但这些方法只会去索引重复内容，而不会集中链接流行度。有关解决重复内容的更详细信息，建议查阅相关SEO教程或Google Webmaster Tools关于重复内容的官方视频。