
Google 更新 Facet 导航抓取管理指南
Google 近日发布了名为“管理 facet 导航 URL 的抓取”的新帮助文档,该文档基于其 2014 年关于 facet 导航最佳实践的博文进行了重新整理与更新。Google 代表 Gary Illyes 确认了这一发布,旨在为网站管理者提供更清晰的指导。
Facet 导航对抓取预算的影响
Google 指出,无论是电商、博客还是活动类网站,facet 导航(分面导航)虽能提升用户体验,但若基于 URL 参数实现,极易生成大量重复或无意义的 URL 变体。这不仅浪费服务器资源,更会严重消耗网站的“抓取预算”。目前,关于抓取效率的投诉中,最常见的原因正是由 facet 导航引发的无效 URL 空间。
过度抓取与发现延迟风险
- 过度抓取:爬虫无法预先判断 facet URL 的价值,往往需先进行抓取才能识别其无用性,导致大量请求被浪费在低价值页面上。
- 新内容发现变慢:当抓取资源被无效 URL 占用时,爬虫用于发现和索引高价值新页面的时间相应减少,影响网站整体收录效率。
官方建议与实施注意事项
新文档重点涵盖两个核心部分:“防止抓取 facet 导航 URL”及“确保 facet 导航 URL 对网络最优化”。对于使用此类导航功能的网站,建议深入研究该指南以优化抓取策略。
行业反馈:URI 片段方法的局限性
针对 facet 导航的技术实现,Merj 的 Ryan Siddle 提出了审慎观点。他指出,早在 2017 年业界曾尝试依赖 URI 片段(Fragment)方法,但后续实践证明该方案存在显著缺陷,不建议作为首选:
- 无障碍标准合规性差:不符合 WCAG 无障碍访问标准。
- 社交分享受限:在社交媒体预览摘要生成方面存在兼容性问题。
- 不支持服务端渲染(SSR):严重依赖 Web Worker,增加了页面加载延迟。
- 性能瓶颈:额外延迟直接影响网站速度表现。
- 实施成本高昂:开发周期长且维护困难,曾有案例显示实施耗时远超预期且后期仍面临技术挑战。

