大数跨境

Cloudflare报告:Googlebot在AI爬虫流量中居首

Cloudflare报告:Googlebot在AI爬虫流量中居首 搜索引擎报
2025-12-15
0
导读:Cloudflare的年度回顾显示,Googlebot爬取的页面数量是PerplexityBot的200倍。全球互联网流量增长了19%。

Cloudflare发布第六份年度回顾报告,基于覆盖全球125个国家、330多个城市的网络数据(平均每秒处理超8100万次HTTP请求),全面复盘2025年互联网流量、安全态势及AI爬虫活动。

Googlebot AI爬虫流量居首

报告显示,2025年10月至11月期间,Googlebot在HTML内容成功请求中占比最高,覆盖样本中11.6%的唯一网页。这一比例是OpenAI GPTBot(3.6%)的3倍以上,约为PerplexityBot(0.06%)的200倍。Bingbot以2.6%位列第三,Meta-ExternalAgent和ClaudeBot均为2.4%。

由于Googlebot兼具搜索索引与AI模型训练双重功能,网站运营方陷入两难:阻止其进行AI训练可能直接导致搜索可见性下降。Cloudflare指出,鉴于Google在搜索领域的长期主导地位,运营商难以在不危及搜索排名的前提下单独屏蔽其AI训练抓取。

AI机器人占HTML请求4.2%

2025年全年,非Googlebot类AI机器人在Cloudflare客户群中的HTML请求平均占比为4.2%,波动区间为4月初的2.4%至6月底的6.4%。仅Googlebot就贡献了4.5%的请求量,略高于其他所有AI机器人总和。

人类生成的HTML流量趋势显著回升。年初人类流量比非AI机器人低7个百分点;9月起部分时段人类流量反超;截至12月2日,人类产生47%的HTML请求,非AI机器人占44%。

抓取-引用比率差异显著

“抓取-引用比率”反映平台爬取频率与向源站回引流量的关系,高比率意味着大量爬取但极少导流。Anthropic下半年该比率稳定在25,000:1至100,000:1之间;OpenAI 3月曾高达3,700:1;Perplexity表现最优,通常低于400:1,9月后降至200:1以下。相比之下,Google搜索全年比率维持在3:1到30:1的较低水平。

用户行为爬取增长超20倍

响应聊天机器人提问而触发的“用户行为”爬取成为2025年增长最快类别。1月至12月初,此类爬取量增长超15倍,与ChatGPT-User机器人的流量模式高度吻合。自2月中旬起呈现明显周使用规律,显示学校和职场应用增加;6月至8月因假期因素活动量有所回落。

AI爬虫在robots.txt中被屏蔽最多

在近3,900个头部域名的robots.txt文件分析中,AI爬虫是被屏蔽最频繁的用户代理。GPTBot、ClaudeBot和CCBot收到的完全禁止指令最多;而Googlebot和Bingbot的屏蔽策略更侧重于登录页等非内容区域的部分屏蔽,而非全站封禁。

民间社会成受攻击重灾区

“人民与社会”领域(含宗教机构、非营利组织、公民组织和图书馆)首次成为遭受攻击最多的垂直领域。该领域获得的全球缓解流量占比从年初不足2%升至4.4%,3月下旬跃升至17%以上,7月初达23.2%峰值。此前受攻击最多的赌博和游戏领域份额已减半至2.6%。许多受影响组织正通过Cloudflare Project Galileo获得保护。

其他关键发现

  • 流量增长:全球互联网流量同比增长19%,8月中旬后增速加快。
  • 加密普及:后量子加密保护的人类流量占比达52%,较年初29%近乎翻倍。
  • AI服务格局:ChatGPT保持领先,Google Gemini、Windsurf AI、Grok/xAI和DeepSeek新晋前十。
  • 卫星网络:Starlink流量翻倍,新增20多个国家服务。
  • 断网原因:174次重大中断中近半由政府主导关机造成;电缆故障减少近50%,电力故障翻倍。
  • 网速排名:欧洲国家整体互联网质量领先,西班牙以超300 Mbps平均下载速度位居榜首。

行业启示与展望

Googlebot的双重用途使其具备独特竞争优势,出版商无法将其搜索抓取与AI训练剥离。抓取-引用比率的巨大差异量化证实了AI平台“多抓少引”的现状。同时,民间社会组织面临的安全威胁升级需引起重视。

展望未来,随着AI平台调整搜索功能及引荐策略,相关指标将持续演变。当前大多数出版商对搜索引擎采取部分屏蔽、对纯AI爬虫实施全禁的策略,将为追踪2026年政策变化提供重要基线。

【声明】内容源于网络
0
0
搜索引擎报
搜索引擎时报
内容 2299
粉丝 0
搜索引擎报 搜索引擎时报
总阅读3.0k
粉丝0
内容2.3k