重复内容是指多个页面包含相同或非常相似的文本，主要分为两种形式：
- 内部重复：同一域名下托管完全相同或相似的内容。
- 外部重复：从其他网站转载内容，或允许他人转载你的内容。
这两种情况都会分散链接权重，从而降低页面在自然搜索结果中的排名能力。假设一个网站有两个完全相同的页面，每个页面各有10个外部入站链接。该网站本可利用这20个链接的强度提升单个页面的排名，但实际上拥有两个各含10个链接的页面，导致两者的排名都不理想。
此外，重复内容还会浪费抓取预算，并迫使Google选择要排名的页面——这通常并非明智之举。虽然Google声明不存在针对重复内容的惩罚，但清除此类内容是整合链接权益、提升排名的有效手段。
以下是从搜索引擎索引中移除重复内容的两种有效方法，以及八种应避免的做法。
两种移除方法
要纠正索引中的重复内容，核心策略是将链接权重集中到单个页面上，并提示搜索引擎删除重复版本。推荐以下两种方式：
- 301重定向（最佳选择）：可集中链接权重、促使去索引化，并将用户重定向到新页面。Google表示，通过301重定向会将所有链接权重分配给新页面。
- 规范标签（Canonical tags）：指引搜索引擎指向主页面，促使其将链接权益转移至该页面。需注意，这些标签对搜索引擎而言是建议而非命令（不同于301重定向），且不会重定向用户。对于真正的重复内容，搜索引擎通常会尊重规范标签；对于外部重复内容（如将文章重新发布到Medium等平台），这是最佳选择。
八种不建议使用的方法
根据经验，以下试图从搜索引擎索引中移除重复内容的选项并不可取：
- 302重定向：表示临时移动而非永久移动。虽然Google称将其视为与301相同，但301仍是页面永久重定向的最佳方式。
- JavaScript重定向：虽被Google认可，但在呈现过程完成前可能需要几天甚至几周。除非无法通过服务器进行301重定向，否则没有理由优先使用此方法。
- Meta refresh：由客户端浏览器执行，会在加载新页面前短暂显示原页面。这可能让访客和Google感到困惑，不应优先于301重定向使用。
- 404错误代码：表明文件不在服务器上，虽能促使去索引化，但也会移除相关链接权重。除非旨在消除低质量链接信号，否则不建议使用。
- 软404错误：指服务器将无效URL通过302重定向到看似错误的页面，但响应头仍为200 OK。这种混淆会让Google难以判断，最好避免。
- 搜索引擎移除工具：Google和Bing提供的URL移除工具要求提交的URL返回有效的404错误，因此仅适合作为删除页面后的备用步骤。
- Meta robots noindex标签：告诉爬虫不要索引该页面，但会导致链接权重流失。此外，搜索引擎需继续抓取页面以验证noindex属性，反而浪费抓取预算。
- Robots.txt禁止指令：不会触发去索引化。爬虫不再抓取被禁页面，但这些页面可能因有外部链接指向而保留在索引中。
如何避免重复内容
Google官方文档建议通过以下方式预防重复内容：
- 最小化样板内容重复：例如，将条款和服务协议发布在单独页面并在全站链接，而非在每个页面重复展示。
- 拒绝占位符填充：不要使用试图使自动生成页面“独特”的占位符，应投入精力为每个页面创作独一无二的原创内容。
- 熟悉电商平台机制：防止平台自动生成重复或近似内容。例如，某些平台会在分类页减少产品摘要，以确保每个页面保持独特性。