大数跨境

谷歌:爬取量激增的两个常见不良原因

谷歌:爬取量激增的两个常见不良原因 谷歌google快讯
2024-06-19
0
导读:谷歌的加里·伊利斯(Gary Illyes)在领英上发布了两则常见案例,说明当 Googlebot 的活动、爬取量激增时为何是坏事。简短的回答是:当 Googlebot 开始爬取你网站上无限延伸的部分

谷歌搜索倡导者加里·伊利斯(Gary Illyes)近日在领英发文指出,Googlebot爬取量激增未必是利好信号。他强调,若无法证明爬取量增加源于正面因素,应优先将其视为网站存在技术或安全问题的预警。

警惕无限空间导致的无效抓取

当网站包含日历组件或支持无限筛选的产品列表页时,极易产生“无限空间”问题。爬虫虽会暂时对此类页面表现出高活跃度,但这会导致大量无效抓取,浪费爬取预算。建议站长合理配置robots.txt文件,对无搜索价值的无限生成页面进行屏蔽,引导爬虫聚焦于核心内容。

防范黑客攻击引发的垃圾页面泛滥

爬取量异常飙升也可能是网站遭受入侵的迹象。不法分子一旦获取服务器或CMS权限,可能批量生成垃圾页面以污染站点。此时爬虫的活跃实为对恶意内容的被动响应。站长可参考web.dev/hacked提供的官方指南进行排查与修复,及时清除被篡改内容并恢复网站安全。

【声明】内容源于网络
0
0
谷歌google快讯
谷歌官方更新资讯
内容 3766
粉丝 0
谷歌google快讯 谷歌官方更新资讯
总阅读451
粉丝0
内容3.8k