
Google疑似启用未公开通用爬虫
近期多方报告显示,Google可能正在使用一款名为“Google”的通用且未公开爬虫。该用户代理名称并未出现在Google官方文档列出的常见爬虫、特殊情况爬虫或用户触发抓取器中。
多源验证确认爬虫来源
SEO专家JC Chouinard在社交平台X上披露了相关示例后,引发行业关注。随后,Andrea Volpini、Kyle Risley及Malte Landwehr等多位业内人士相继证实,确实观察到来自Google IP地址段、用户代理标识为“Google”及“pageburst”的抓取请求。尽管部分IP未包含在Google公开的Googlebot IP范围内,但综合多方验证结果,目前倾向于认为这是Google官方的新行为,而非恶意冒充。
官方尚未回应,站长需保持关注
针对Gemini等产品是否使用了非标准用户代理的问题,业界已向Google代表John Mueller求证,但截至目前尚未收到正式回复。建议网站管理员在分析服务器日志时留意该标识,若发现用户代理为“Google”的请求,应知悉这并非个例。在Google发布官方说明前,其具体用途及归属仍存在不确定性,需持续观察后续动态。

