
谷歌新增GoogleProducer爬虫:身份确认与官方收录
近期,一种名为“GoogleProducer”的新型用户代理(User-Agent)在抓取网页时被频繁发现。尽管该爬虫最初未出现在谷歌官方爬虫列表中,但经多方验证及后续更新,现已确认其为合法的谷歌爬虫工具。
爬虫发现与身份核实
开发者Hernán Marsili率先注意到大量来自发布商网站的流量使用了“GoogleProducer; (+http://goo.gl/7y4SX)”这一用户代理。由于来源确认为谷歌代理主机,他向谷歌官方求证其合法性。值得注意的是,相关帮助文档链接曾指向已失效的谷歌新闻生产者页面,一度引发疑虑。
根据历史资料分析,Google Producer与谷歌新闻及Google Currents服务密切相关。它主要用于管理Google Play杂志期数及Currents版本内容,包括定价、描述等元数据设置。随着服务整合,原Currents Producer帮助中心已重定向至谷歌发布商中心。
官方回应与列表更新
针对外界疑问,谷歌John Mueller于2023年2月1日回应表示将对此进行调查。随后有信息指出该线程可追溯至2011年,暗示该爬虫可能属于旧有工具的重新启用或维护。最终,谷歌于2月10日正式将GoogleProducer添加至支持的Googlebots列表中,彻底确认了其合法身份。

