Google 的 Martin Splitt 针对恶意机器人影响网站性能的问题作出回应,为 SEO 从业者及网站所有者提供了关键应对策略。
恶意机器人是核心 SEO 问题
许多 SEO 审计常忽视安全性与机器人流量。事实上,安全事件会直接导致爬取不足和性能下降。若因安全状况不佳引发服务器过载,单纯优化核心网页指标(CWV)无法解决问题。
过度爬取会触发“500 服务器错误”,导致 Googlebot 无法正常抓取网页,进而严重影响网站收录与排名。
防御机器人攻击的策略建议
针对自动化软件定向抓取导致的服务器负载增加及数据安全风险,Martin Splitt 提出以下建议:
“当爬取行为激进到导致性能下降时,这本质上属于分布式拒绝服务(DDoS)攻击范畴。”
- 溯源并投诉:通过 WHOIS 信息识别流量来源网络的拥有者,向其托管服务商发送滥用通知。
- 启用 CDN 防火墙:利用内容分发网络(CDN)检测并拦截机器人流量。CDN 不仅能分流压力,通常还能智能识别合法搜索引擎爬虫。建议在部署前咨询服务商关于白名单的具体配置。
联系基础设施提供商的局限性
尽管向云服务或数据中心投诉是常规手段,但在实际对抗中往往效率低下,主要原因如下:
1. 攻击源高度隐蔽
攻击者常利用 VPN、Tor 网络或被入侵的家庭/企业计算机(僵尸网络)隐藏真实 IP,导致难以准确定位提供基础设施的服务商。
2. IP 地址频繁切换
恶意机器人具备动态 IP 切换能力。当某个 IP 被封禁后,攻击流量可瞬间转移至其他地区的网络节点,使单一封锁措施失效。
3. 处置成本与收益不成正比
面对来自全球数百万个被控终端的攻击,逐一联系 ISP 处理滥用行为极其耗时且徒劳。即便成功屏蔽部分违规者,海量替代机器人仍会持续发起攻击。
推荐使用 WAF 进行主动防御
相较于被动投诉,部署 Web 应用防火墙(WAF)是更高效的解决方案。
CDN 内置 WAF
Cloudflare 等主流 CDN 不仅通过边缘节点加速访问、减轻源站压力,还集成了 WAF 功能,可自动识别并阻断恶意机器人流量,兼顾性能与安全。
WordPress 专用防护方案
对于 WordPress 站点,可考虑以下工具:
- Wordfence:基于行为分析自动封禁异常爬虫。例如,当检测到高频请求时自动创建临时 IP 封锁;若攻击者更换 IP 继续爬取,系统仍能识别其行为模式并再次拦截。
- Sucuri:提供 SaaS 级 WAF 与 CDN 一体化服务,有效加速并保护网站安全。
上述两款均为业界知名的 WordPress 安全插件,且提供免费版本供基础防护使用。

