
在Google《Search Off The Record》播客节目中,Google搜索倡导者Gary Illyes透露,团队正致力于优化搜索引擎对URL参数的处理机制,以解决由此引发的爬取效率问题。
Google拟优化URL参数处理机制
针对Google搜索关系经理John Mueller关于“爬取优化方向”的提问,Gary Illyes明确表示将重点改进URL参数处理能力。URL参数通常用于页面跟踪或动态内容生成,但可能导致Google陷入无限循环爬取(如无尽日历页面),浪费抓取预算。
此前,Google曾在Search Console中提供URL参数工具,允许站长指定特定参数为可选或忽略,但该工具已于2022年4月停用。Gary解释称,移除原因是该功能使用率过低。目前,Google仍需通过大量爬取不同URL变体来判断参数是否有效并确定规范URL,这一过程存在资源消耗。
未来可能推出新的爬取控制方案
对于拥有复杂URL结构且遭受过度爬取的网站,Gary暗示Google可能重新引入类似旧版工具的解决方案。他提到,未来的控制手段可能包括扩展robots.txt规则、定义特定符号后的内容自动忽略等,帮助站长更精准地阻止对无效URL空间的爬取,从而提升整体抓取效率。

