Vercel最新报告显示,AI机器人在网络爬取中的影响力正显著增强。OpenAI的GPTBot与Anthropic的Claude每月在Vercel网络上产生的请求量接近10亿次,其中GPTBot上月发出5.69亿次请求,Claude为3.7亿次。此外,PerplexityBot贡献2440万次抓取,AppleBot产生3.14亿次请求。总体来看,这些AI爬虫的抓取量约占Googlebot总抓取量(45亿次)的28%,这对SEO策略产生了深远影响。
AI爬虫的关键特征与行为分析
通过对Vercel网络及多种Web架构流量模式的分析,报告揭示了AI爬虫的三个核心特征:
- 不渲染JavaScript:主要AI爬虫虽会获取JS文件,但不执行渲染,依赖客户端渲染的内容可能无法被识别。
- 爬取效率较低:GPTBot和Claude超过34%的请求指向404页面,资源消耗较大。
- 内容偏好差异明显:GPTBot优先处理HTML内容(占比57.7%),而Claude更侧重于图像资源(占比35.17%)。
地理分布集中化
与传统搜索引擎的多区域分布式运营不同,当前AI爬虫的服务器节点高度集中于美国本土:
- GPTBot:主要从爱荷华州得梅因、亚利桑那州凤凰城发起请求。
- Claude:主要从俄亥俄州哥伦布发起请求。
行业数据印证趋势
Vercel的发现与《Web Almanac》SEO章节的数据相互印证,均表明AI爬虫存在感日益增强。目前,越来越多的网站通过robots.txt文件规范AI机器人的爬取权限。数据显示,GPTBot是被提及最多的AI机器人,出现在2.7%的移动网站规则中;常用于大模型训练数据收集的Common Crawl机器人也频繁出现。两份报告共同强调,网站所有者必须主动适应AI爬虫的行为模式。
针对AI爬虫的三大优化策略
结合Vercel与《Web Almanac》的最新数据,建议从以下三个维度优化网站以适应AI爬虫:
1. 实施服务端渲染(SSR)
鉴于AI爬虫不执行JavaScript,依赖客户端渲染的关键内容极易丢失。建议采取以下措施:
- 对核心内容采用服务端渲染或静态站点生成(SSG/ISR)。
- 确保初始HTML响应中包含完整的主要内容、元信息及导航结构。
2. 优化内容结构与交付方式
针对不同AI爬虫的内容偏好,需进行差异化优化:
- HTML结构化:使用语义化标签清晰组织内容,建立正确的标题层级。
- 图像优化:针对Claude等侧重图像的爬虫,务必提供描述性Alt文本并优化图像元数据。
- 资源管理:考虑到GPTBot和Claude分别有约11.5%和23.8%的请求用于加载JS文件,应精简非必要脚本以提升爬取效率。
3. 强化技术基础建设
针对AI爬虫高发的404错误率,需重点维护网站技术健康度:
- 保持Sitemap实时更新,确保链接有效性。
- 配置规范的重定向链,避免死链。
- 维持一致的URL命名规则。
- 定期审计并修复404错误页面。
总结与展望
AI聊天机器人已成为网络爬虫生态中的重要力量。尽管目前部分AI模型仍依赖缓存或历史数据,但其解析全网实时新鲜内容的能力将持续提升。搜索营销人员应及时调整SEO策略,通过服务端渲染、清晰的URL结构及完善的网站地图,确保内容能被AI爬虫有效抓取与索引,从而在未来的AI搜索时代保持可见性。

