大数跨境

Google 安全爬虫 Google 帮助文档

Google 安全爬虫 Google 帮助文档 谷歌google快讯
2023-11-15
0
导读:Google 已更新其针对 Google 爬虫的帮助文档,并将 Google 安全爬虫添加到特殊案例爬虫列表中。该爬虫并非新出现,但 Google 决定将其加入,原因是“在过去一年里收到了许多关于此爬

Google将安全爬虫纳入特殊案例列表

Google近日更新了爬虫帮助文档,正式将“Google-Safety”爬虫列入特殊案例爬虫名单。该爬虫并非新产物,但因过去一年收到大量相关咨询,Google决定将其明确公示。

核心功能与权限说明

Google-Safety的完整用户代理字符串为“Google-Safety”,主要负责处理滥用检测任务,例如识别Google属性中公开链接内的恶意软件。值得注意的是,该爬虫会忽略robots.txt规则。此举旨在确保其能全面检查潜在不安全页面及目录,从而有效保障搜索用户的安全体验。

图片来源:Lizzi。

【声明】内容源于网络
0
0
谷歌google快讯
谷歌官方更新资讯
内容 3766
粉丝 0
谷歌google快讯 谷歌官方更新资讯
总阅读451
粉丝0
内容3.8k