大数跨境

Google 搜索能否提升对 URL 参数的处理能力?

Google 搜索能否提升对 URL 参数的处理能力? 谷歌google快讯
2024-08-12
0
导读:作为 Google 关于爬取的《Search Off The Record》播客节目的一部分,我们曾在周五简要报道过。Gary Illyes 表示,他正在研究让 Google 更好地处理 URL 参数

在Google《Search Off The Record》播客节目中,Google搜索倡导者Gary Illyes透露,团队正致力于优化搜索引擎对URL参数的处理机制,以解决由此引发的爬取效率问题。

Google拟优化URL参数处理机制

针对Google搜索关系经理John Mueller关于“爬取优化方向”的提问,Gary Illyes明确表示将重点改进URL参数处理能力。URL参数通常用于页面跟踪或动态内容生成,但可能导致Google陷入无限循环爬取(如无尽日历页面),浪费抓取预算。

此前,Google曾在Search Console中提供URL参数工具,允许站长指定特定参数为可选或忽略,但该工具已于2022年4月停用。Gary解释称,移除原因是该功能使用率过低。目前,Google仍需通过大量爬取不同URL变体来判断参数是否有效并确定规范URL,这一过程存在资源消耗。

未来可能推出新的爬取控制方案

对于拥有复杂URL结构且遭受过度爬取的网站,Gary暗示Google可能重新引入类似旧版工具的解决方案。他提到,未来的控制手段可能包括扩展robots.txt规则、定义特定符号后的内容自动忽略等,帮助站长更精准地阻止对无效URL空间的爬取,从而提升整体抓取效率。

【声明】内容源于网络
0
0
谷歌google快讯
谷歌官方更新资讯
内容 3766
粉丝 0
谷歌google快讯 谷歌官方更新资讯
总阅读451
粉丝0
内容3.8k