
Google将安全爬虫纳入特殊案例列表
Google近日更新了爬虫帮助文档,正式将“Google-Safety”爬虫列入特殊案例爬虫名单。该爬虫并非新产物,但因过去一年收到大量相关咨询,Google决定将其明确公示。
核心功能与权限说明
Google-Safety的完整用户代理字符串为“Google-Safety”,主要负责处理滥用检测任务,例如识别Google属性中公开链接内的恶意软件。值得注意的是,该爬虫会忽略robots.txt规则。此举旨在确保其能全面检查潜在不安全页面及目录,从而有效保障搜索用户的安全体验。
图片来源:Lizzi。

