近日，谷歌搜索倡导者加里·伊利耶斯（Gary Illyes）在《奥德赛播客》访谈中指出，人工智能的普及加剧了机器人伪装问题。恶意爬虫通过冒充Googlebot等身份抓取内容以训练AI模型，给网站安全带来新挑战。尽管防火墙和CDN技术有所提升，但仍难以完全识别虚假流量，网站管理者需主动验证爬虫身份并实施精准管控。
AI驱动下机器人伪装风险升级
伊利耶斯强调，AI公司急需互联网内容作为训练语料，导致大量爬虫伪装成Googlebot绕过防护。更改User-Agent仅需数秒，许多来自非谷歌IP的请求均声称是官方爬虫。他建议不要仅依赖User-Agent判断，必须结合反向DNS和IP地址进行双重验证。此外，配置不当的爬虫可能因高频请求耗尽服务器资源，导致网站瘫痪，此类损害多源于技术无知而非恶意攻击。
robots.txt并非安全防护机制
伊利耶斯明确表示，robots.txt仅为君子协定，无法强制约束恶意爬虫。若需有效拦截违规流量，应部署Web应用防火墙（WAF）等网络级防护措施。同时，谷歌已将搜索爬取与AI训练用途分离，站长可通过Google-Extended指令允许搜索索引但限制AI训练；Apple也推出了类似的Applebot-Extended令牌，未来针对不同自动化客户端的访问控制将更加精细化。
爬虫验证与信誉体系的未来探索
针对传统验证方式的局限，伊利耶斯介绍了Web Bot Auth项目，即通过加密签名验证HTTP请求来源，替代日益昂贵且难管理的IP验证。他还透露正在探索建立爬虫信誉评分系统，汇总多方反馈评估爬虫行为规范性，但警惕单一机构垄断可能带来的偏见风险。
网站防御策略与建议
对于大多数小型网站，建议先确认机器人流量是否造成实质影响再投入防护资源，具备机器人管理功能的CDN或Shopify等托管平台可作为基础防线。具体防护措施包括：
- 严格验证Googlebot：核对官方发布的IP段及反向DNS记录，不轻信User-Agent。
- 监控服务器日志：排查异常IP、可疑爬取模式及过高请求频率。
- 部署网络层防护：利用CDN或WAF抵御威胁网站性能与安全的不受欢迎爬虫。
- 规范配置robots.txt：引导合规爬虫访问，同时明确其非强制性本质。
- 区分搜索与AI权限：使用特定爬虫指令分别管理内容索引与AI训练授权。
更多技术细节可参考谷歌官方帮助文档《什么是Googlebot以及如何验证Googlebot请求》。