
Google确认GoogleProber与GoogleProducer为合法爬虫
Google搜索倡导者John Mueller近日证实,GoogleProber和GoogleProducer均为官方合法的Googlebot用户代理及爬虫程序。Mueller指出,这些请求专门针对Publisher Center中的Google News配置生成,若被拦截可能导致新闻供稿功能异常。
承认爬取频率过高并承诺修复
针对部分站长反馈的爬取过量问题,Mueller予以承认并表示正在处理。他明确表示:“我们发现了一个导致请求过于频繁的问题,该问题将很快得到修复。”此外,Google还将致力于解决损坏的信息链接问题。
事件背景与官方更新
此前有发布者反映,网站WAF拦截了大量来自新用户代理“GoogleProducer”及“GoogleProber”的请求,经核实其来源确为Google代理主机。2月10日,Google已正式将这两个用户代理列入支持的Googlebots列表。

