大数跨境

研究发现,AI 爬虫占 Googlebot 流量的 28%

研究发现,AI 爬虫占 Googlebot 流量的 28% 搜索引擎报
2024-12-19
2
导读:研究发现,AI 网络爬虫正在传统搜索引擎中占据更大份额,重塑网站优化内容的方式。

Vercel最新报告显示,AI机器人在网络爬取中的影响力正显著增强。OpenAI的GPTBot与Anthropic的Claude每月在Vercel网络上产生的请求量接近10亿次,其中GPTBot上月发出5.69亿次请求,Claude为3.7亿次。此外,PerplexityBot贡献2440万次抓取,AppleBot产生3.14亿次请求。总体来看,这些AI爬虫的抓取量约占Googlebot总抓取量(45亿次)的28%,这对SEO策略产生了深远影响。

AI爬虫的关键特征与行为分析

通过对Vercel网络及多种Web架构流量模式的分析,报告揭示了AI爬虫的三个核心特征:

  • 不渲染JavaScript:主要AI爬虫虽会获取JS文件,但不执行渲染,依赖客户端渲染的内容可能无法被识别。
  • 爬取效率较低:GPTBot和Claude超过34%的请求指向404页面,资源消耗较大。
  • 内容偏好差异明显:GPTBot优先处理HTML内容(占比57.7%),而Claude更侧重于图像资源(占比35.17%)。

地理分布集中化

与传统搜索引擎的多区域分布式运营不同,当前AI爬虫的服务器节点高度集中于美国本土:

  • GPTBot:主要从爱荷华州得梅因、亚利桑那州凤凰城发起请求。
  • Claude:主要从俄亥俄州哥伦布发起请求。

行业数据印证趋势

Vercel的发现与《Web Almanac》SEO章节的数据相互印证,均表明AI爬虫存在感日益增强。目前,越来越多的网站通过robots.txt文件规范AI机器人的爬取权限。数据显示,GPTBot是被提及最多的AI机器人,出现在2.7%的移动网站规则中;常用于大模型训练数据收集的Common Crawl机器人也频繁出现。两份报告共同强调,网站所有者必须主动适应AI爬虫的行为模式。

针对AI爬虫的三大优化策略

结合Vercel与《Web Almanac》的最新数据,建议从以下三个维度优化网站以适应AI爬虫:

1. 实施服务端渲染(SSR)

鉴于AI爬虫不执行JavaScript,依赖客户端渲染的关键内容极易丢失。建议采取以下措施:

  • 对核心内容采用服务端渲染或静态站点生成(SSG/ISR)。
  • 确保初始HTML响应中包含完整的主要内容、元信息及导航结构。

2. 优化内容结构与交付方式

针对不同AI爬虫的内容偏好,需进行差异化优化:

  • HTML结构化:使用语义化标签清晰组织内容,建立正确的标题层级。
  • 图像优化:针对Claude等侧重图像的爬虫,务必提供描述性Alt文本并优化图像元数据。
  • 资源管理:考虑到GPTBot和Claude分别有约11.5%和23.8%的请求用于加载JS文件,应精简非必要脚本以提升爬取效率。

3. 强化技术基础建设

针对AI爬虫高发的404错误率,需重点维护网站技术健康度:

  • 保持Sitemap实时更新,确保链接有效性。
  • 配置规范的重定向链,避免死链。
  • 维持一致的URL命名规则。
  • 定期审计并修复404错误页面。

总结与展望

AI聊天机器人已成为网络爬虫生态中的重要力量。尽管目前部分AI模型仍依赖缓存或历史数据,但其解析全网实时新鲜内容的能力将持续提升。搜索营销人员应及时调整SEO策略,通过服务端渲染、清晰的URL结构及完善的网站地图,确保内容能被AI爬虫有效抓取与索引,从而在未来的AI搜索时代保持可见性。

【声明】内容源于网络
0
0
搜索引擎报
搜索引擎时报
内容 5673
粉丝 0
搜索引擎报 搜索引擎时报
总阅读4.0k
粉丝0
内容5.7k