这听起来有违直觉，但有时搜索引擎优化（SEO）的目标恰恰是避免被索引。
请考虑以下典型场景：
- 分层导航生成了成千上万页重复或低价值内容；
- 邮件落地页包含针对特定客群的定向促销信息；
- “加入愿望单”链接生成了标题标签与产品页相同的新页面；
- 已过期的可打印优惠券仍在搜索结果中排名靠前。
在上述及更多场景中，你都需要阻止搜索引擎索引网站的特定部分。通过掌握相关工具并明确其功能边界，才能选择最佳方案防止被索引。
1. Robots.txt 禁止规则
Robots.txt 中的 Disallow 指令实施最简单，但也最易因误操作对 SEO 造成严重破坏。位于网站根目录的 robots.txt 文件中的 disallow 行，会命令合规搜索引擎不抓取指定文件或文件夹，甚至支持通配符匹配 URL 模式（如所有以 .gif 结尾或包含 “email-landing” 的 URL）。
该方法适用于从未被索引的内容，且不影响用户访问体验。即：Disallow 仅阻止搜索引擎将新访客引导至该页面，但站内已存在的导航仍可正常访问。警告：上线前务必在 Google Search Console 中彻底测试，避免因一条错误指令意外屏蔽重要内容乃至全站。
2. Meta Robots noindex
Meta robots noindex 标签用于逐页指示爬虫不要索引特定页面。与 robots.txt 可批量屏蔽文件夹不同，noindex 仅针对单个页面生效。除非配合 nofollow 使用，否则爬虫仍可抓取该页并追踪其中链接。因此，noindex 既能鼓励深度抓取，又能防止特定页面进入排名索引。在模板层级统一设置时，可高效处理同类页面（如前述愿望单场景）。
与 disallow 类似，meta robots noindex 也不影响用户站内浏览体验——它仅阻止搜索引擎从外部引流，但不妨碍已在站内的用户正常访问。
3. 服务器头状态码
若内容与用户均不应被访问，301 重定向是 SEO 最优解。已上线并被索引的页面积累了信任度与权威性，浪费这些资产无异于烧钱。301 重定向不仅将用户导向正确内容，还通知搜索引擎取消原 URL 索引，并将累积的链接权重传递至新页面。
例如，过期优惠券页面可能仍具较强排名权重。通过 301 重定向，可将此权重及搜索流量引导至当前促销活动，有效促进转化。
若无法实施 301 重定向（极少见），返回 404 “未找到” 错误可使 URL 脱离索引、释放抓取资源，但也会导致原有链接权重彻底流失。
反之，若用户需访问内容但不应被收录，则应优先选用 robots.txt 禁止或 meta robots noindex。
4. 密码保护
密码保护常用于保密内容，同时也能有效阻止爬虫抓取。尽管需权衡其对用户体验的影响，但对于仅限特定客户群体访问的内容，这是限制搜索引擎收录的有效手段。
5. 其他技术屏障
具备开发能力者可借助 Cookie 验证或复杂 JavaScript 拦截爬虫。这种方法被称为“主动隐身”——通常为避免 SEO 风险不建议使用，但在确需防索引时，将内容置于仅接受 Cookie 或能执行 JS 的用户代理方可访问的门后，确实有效。注意：此举也可能排除禁用 Cookie/JS 的真实用户。
应该使用哪种方法？
需注意，rel=nofollow 不属于防索引工具。这是一个经典误解：爬虫仍会抓取 nofollow 链接，只是不传递权重。本质上，nofollow 仅表示“愿意链接但不愿背书”。
此外，canonical 标签也不能阻止收录。它仅是向搜索引擎发出的“礼貌请求”，建议合并权重而非强制排除。相比之下，301 重定向才是具有约束力的“命令”。当必须确保页面不被索引时，命令远比请求可靠。
综上，前三种方法最为常用。深入理解 robots.txt 禁止指令、meta robots noindex 及 301 重定向的优势与局限，即可精准移除不必要的索引页面。