据 Botify 与客座作者 Chris Long 的最新分析,GPT-5 发布后,OpenAI 的自动爬取活动量预估增长约两倍。在 Botify 数据集中,OpenAI 搜索爬虫产生的日志事件已超越训练爬虫,这一趋势与 GPT-5 发布前截然相反。
SEO 咨询公司 Nectiv 联合创始人 Long 基于 Botify 企业客户数据集,分析了 2024 年 11 月至 2026 年 3 月期间约 70 亿条 OpenAI 机器人日志事件。
核心数据表现
Botify 监测的三个 OpenAI 用户代理中,有两个在 GPT-5 发布前后出现显著激增:
- OAI-SearchBot:用于 ChatGPT 网络搜索内容检索,2025 年 8 月后记录事件量增至原来的 3.5 倍,新增约 22 亿次事件。
- GPTBot:用于收集训练数据,同期记录事件量增至原来的 2.9 倍,新增约 18 亿次事件。
第三个用户代理 ChatGPT-User 则呈下降趋势。2025 年 12 月至 2026 年 3 月期间,其日志事件减少 28%。该指标反映的是用户发起的实时页面获取操作,而非 ChatGPT 整体使用率。
针对 ChatGPT-User 的下降,Long 提出两种解读:一是较少会话触发实时获取;二是 OpenAI 可能更多依赖存储或索引资源,降低了对实时页面的需求。目前尚无定论。
搜索爬虫活跃度反超训练爬虫
GPT-5 发布前,OAI-SearchBot 与 GPTBot 运行规模相当,搜索事件与训练事件比例约为 0.95:1。GPT-5 发布后,该比例升至约 1.14:1,搜索爬虫正式领先。
这一变化印证了 Dan Petrovic 于 2025 年 8 月的观点,即 OpenAI 正从实时搜索中获取更多答案,而非仅依赖训练记忆。Botify 数据与该判断一致。
行业爬取差异分析
GPT-5 发布后,各行业搜索爬虫增长幅度分化明显:
- 高增长领域:医疗保健网站 OAI-SearchBot 活动增加约 740%,媒体与出版业增加 702%。
- 中等增长领域:市场平台、软件和零售业增幅为 190%-216%。
- 低增长领域:旅游网站增幅最小,仅为 30%。
搜索与训练的平衡亦因行业而异。媒体/出版业的 OAI-SearchBot 与 GPTBot 爬取差异最大(+256%);软件和网络行业偏向搜索;医疗和零售业则偏向训练(差异分别为 -50% 和 -33%)。总体而言,GPTBot 仍更为活跃。
分析认为,OpenAI 对不同提示类型采取差异化路由策略:新闻类查询触发实时搜索,健康和产品类查询则主要依赖训练知识。
OpenAI 与主流搜索引擎爬取量对比
尽管爬取活动翻了三倍,OpenAI 的爬取总量仍远低于 Google。在最近 30 天窗口期内:
- Googlebot:记录 182 亿次事件。
- OpenAI 爬虫合计:记录 8.87 亿次事件,约占 Google 的 4%。
- Bingbot:记录约 54.9 亿次事件,OpenAI 约占 Bing 的 14%。
一年前,OpenAI 爬取量仅占 Google 的 1.38%。虽然差距正在缩小,但 Google 的绝对爬取量仍是 OpenAI 的约 20 倍。
数据来源与局限性
该数据集源自 Botify 企业客户,涵盖零售、电商、技术、出版、旅游及市场平台等领域。需注意,样本偏向大型企业集团网站,并非全网代表性样本。此外,Botify 提供日志分析及 AI 机器人管理服务,相关分析旨在推广后续网络研讨会及产品演示。
对 SEO 策略的影响
数据显示 OAI-SearchBot 事件量现已超过 GPTBot。这意味着仅屏蔽 GPTBot 无法阻止 OpenAI 在 ChatGPT 搜索结果中展示网站内容;反之,若屏蔽 OAI-SearchBot,则可能导致网站被排除在 ChatGPT 搜索结果之外。
多方数据交叉验证
Botify 的发现与其他供应商报告相符。An Alli AI 分析显示,在 WordPress 样本中 ChatGPT-User 请求量是 Googlebot 的 3.6 倍;Hostinger 数据显示 OAI-SearchBot 网站覆盖率达 55%,而 GPTBot 覆盖率下降;Akamai 报告亦指出 OpenAI 在 AI 机器人流量中处于领先地位。
综合来看,随着 OAI-SearchBot 活动增长,AI 训练爬取与 AI 搜索爬取需作为两个独立维度进行衡量与管理。

