新增“仅索引用于搜索的内容”指南
此次更新旨在帮助平台区分“用于搜索引擎发现的内容”与“仅通过链接直接访问的实用内容”。对于允许用户创建可分享页面、生成输出或交互式工具的服务，谷歌建议明确内容属性：
若页面主要用于直接分享、协作或提供实用功能，而非面向公共搜索流量，应采取以下措施之一：
- 应用 noindex 规则（使用 robots 元标记或 X-Robots-Tag HTTP 响应标头）；
- 在 robots.txt 文件中默认阻止爬虫抓取。
该指南延续了此前关于识别垃圾账户的建议，并特别指出托管平台可能因允许用户发布共享页面、生成内容或网络应用程序而被滥用。垃圾邮件发送者可能借此创建大量低质页面或网站。此前版本中关于“对新用户帖子设置 noindex 直至建立信誉”的建议依然有效。
Noindex 与 robots.txt 的技术差异
谷歌强调，robots.txt 并非阻止索引的绝对机制。根据官方文档，即使 URL 在 robots.txt 中被禁止抓取，若其他网站存在指向该 URL 的链接，Google 仍可能将其索引。此时，搜索结果中会显示该 URL 及可能的锚文本，但不会展示页面描述，因为爬虫无法读取被屏蔽的内容。
相比之下，noindex 指令仅在爬虫能够访问页面时才生效。如果 robots.txt 屏蔽了页面，爬虫将无法看到 noindex 规则。因此，若希望彻底避免某类分享链接出现在搜索结果中，需权衡两种方式的适用场景：
- robots.txt 适用于阻止爬虫读取内容（包括图片和视频），但可能导致 URL 仍被索引；
- noindex 适用于所有内容类型，能更准确地指示不索引，但前提是页面未被 robots.txt 屏蔽。
Search Console 新增监控检查项
为配合新指南，谷歌建议在 Search Console 中验证网站或子域名，以便在遭遇人工干预或安全问题时接收通知。此外，站长应持续监控以下报告：
- 页面索引报告：检查是否存在与预期不符的已索引页面；
- 搜索效果报告：关注展示次数或搜索查询的意外激增。
指南新增建议在平台层面跟踪内容创建和索引情况，针对新发布公共页面数量激增，或“少数用户生成大量可索引 URL”的情况设置警报，以便尽早发现潜在的垃圾邮件行为。
为何此举至关重要
此次更新的核心目标是帮助平台将非搜索导向的用户生成内容排除在索引之外，并提升垃圾邮件检测效率。对于分享链接、AI 生成输出及应用页面，站长应审查现有的 noindex 规则。若依赖 robots.txt 屏蔽 Googlebot，需注意 Google 将永远无法读取这些页面，从而无法执行 noindex 指令，可能导致 URL 以“已索引，但被 robots.txt 屏蔽”的状态出现在搜索结果中。
未来展望与建议
在 Search Console 的页面索引报告中，“已索引，但被 robots.txt 屏蔽”是一种常见状态。谷歌帮助文档建议，对于此类分享网址，应移除 robots.txt 屏蔽并改用 noindex 标签，以确保爬虫能读取指令并正确地从索引中删除该页面。这一调整有助于更精准地控制分享内容在搜索引擎中的可见性。
