自2023年本文首次发布以来,从Google搜索结果中移除页面的核心原因基本未变,如包含机密信息、付费内容或过时信息等。但相关工具与方法已有所更新。
临时移除
当网站遭遇黑客攻击植入恶意/非法内容并被索引排名,或无意中泄露隐私信息被收录时,需紧急从Google移除URL。
通过Search Console“索引”板块的“URL移除工具”,可快速隐藏单个URL或整个目录。该处理速度较快,但非永久取消索引,仅在搜索结果中隐藏约6个月。
Search Console 的工具会从搜索结果中移除网址,时长约为六个月。点击图片以放大。
Bing Webmaster Tools中的“阻止网址”功能类似,可将页面从Bing搜索中隐藏约90天。
Bing Webmaster Tools 中的“阻止网址”功能会将页面从 Bing 搜索中隐藏大约 90 天。点击图片以放大。
永久移除
以下是将URL从Google索引中永久移除的几种方式:
删除页面并返回410状态码
从服务器彻底删除页面可实现永久脱引。删除后建议设置410(Gone)状态码而非404,等待数日让Google重新抓取并识别该状态,从而移除索引。
注意:Google不鼓励用重定向处理低价值页面,以免向目标页传递负面信号。此外,Google提供专门表单用于移除搜索结果中的个人信息。
添加noindex标签
搜索引擎普遍遵守noindex元标签。爬虫虽会抓取该页面,但不会将其纳入搜索结果。通常Google抓取后即可识别该标签。
需注意:noindex仅针对单页生效,不影响整站;页面仍可通过内外链访问。另外,大型语言模型(如ChatGPT、Claude、Perplexity)未必遵循此标签或robots.txt规则,彻底删除页面才是确保移除的最可靠手段。
密码保护
为已发布页面设置密码可阻止公开访问,因Google无法爬取需验证的页面。但需注意:加密码本身不能使已索引页面脱引,需配合noindex标签使用。
移除内部链接
清除所有指向待移除页面的内部链接。避免链接至加密或删除的页面,以免损害用户体验。始终优先保障人类访客体验,而非仅考虑搜索引擎。
Robots.txt文件
Robots.txt可阻止Google及其他爬虫抓取特定页面或目录。但若被阻页面存在于站点地图或被其他链接引用,仍可能被索引排名。由于爬虫无法抓取被阻页面,自然也无法读取其中的noindex标签。
建议用robots.txt屏蔽登录页、个人归档页及动态筛选生成的冗余页面,将爬取资源集中于希望获得排名的核心内容。

