
谷歌确认:Googlebot会自动识别并减缓无效URL爬取
谷歌搜索倡导者John Mueller近日确认,Googlebot具备自动识别网站上无效URL模式的能力。针对网站管理员在Search Console中收到的相关警告通知,Mueller表示,随着搜索引擎系统逐渐识别出这些无效模式,爬虫对相应链接的抓取频率会随时间推移自动降低。
官方回应与处理机制
Mueller在社交平台Mastodon上回应称:“通常情况下,我们的系统能够识别出无效的URL模式并主动减缓对其的爬取。”他同时指出,尽管爬取速度会有所调整,但站长仍可能在后台看到相关警告提示,这属于正常现象。
以下是Search Console中关于无效URL警告的通知截图:

若无法查看上述链接,以下为该对话的详细截图:


