大数跨境

OpenAI 搜索爬虫在 Hostinger 研究中覆盖率超过 55%

OpenAI 搜索爬虫在 Hostinger 研究中覆盖率超过 55% 搜索引擎报
2026-01-20
3
导读:Hostinger 分析了跨 500 万个托管站点的 667 亿次机器人请求,发现 AI 训练爬虫更常被屏蔽,而 OpenAI 的搜索机器人正在扩大覆盖范围。

Hostinger 基于超500万个网站、660亿次机器人请求的匿名服务器日志分析发现,AI爬虫正呈现显著分化趋势:用于大模型训练的爬虫访问权限持续收紧,而支撑AI搜索工具的助手机器人影响力则不断扩大。

训练类爬虫遭遇广泛屏蔽

OpenAI GPTBot 等数据收集型爬虫的网站覆盖率大幅下滑。研究显示,GPTBot 覆盖率从84%骤降至12%。Meta ExternalAgent 虽在请求量上居首,但整体训练类爬虫均呈最强下降趋势。

这一量化结果印证了行业共识:BuzzStream 数据显示79%的顶级新闻发布商已屏蔽至少一种训练机器人;Cloudflare 年度报告亦指出,GPTBot、ClaudeBot 和 CCBot 是顶级域名中被完全禁止指令最多的爬虫。即便请求总量仍高,覆盖率的断崖式下跌表明网站主动拦截意愿强烈。

AI助手机器人访问权限扩张

与训练爬虫受阻形成鲜明对比,服务于用户查询的AI助手机器人正获得更多访问机会。OpenAI OAI-SearchBot(ChatGPT搜索功能)平均覆盖率达55.67%;TikTok 爬虫覆盖率为25.67%,请求量高达14亿次;Apple 爬虫覆盖率为24.33%。

此类爬虫由用户触发且目标明确,直接服务于内容检索而非模型训练,因此更易获得网站运营者的许可。

传统搜索引擎爬虫保持稳定

经典搜索爬虫表现稳健。Googlebot 平均覆盖率维持在72%,发出147亿次请求;Bingbot 覆盖率保持在57.67%。由于阻断传统爬虫将直接影响搜索可见性,其地位依然稳固,这与AI爬虫的分化态势形成对照。

SEO工具爬虫因资源消耗受限

Ahrefs 等SEO营销类爬虫覆盖率出现萎缩,尽管Ahrefs仍以60%保持领先。主要原因在于:一是此类工具日益聚焦于活跃SEO站点;二是网站所有者为控制带宽成本,开始屏蔽资源密集型爬虫。此前Vercel数据显示GPTBot单月产生5.69亿次请求,进一步加剧了出版商对服务器负载的担忧。

精细化管控成行业新策略

网站运营者正根据爬虫功能划定准入界限:训练爬虫不带来流量回报,故被优先屏蔽;助手机器人能提升AI搜索结果中的曝光度,因而被保留。Hostinger建议采取折中方案,即屏蔽训练爬虫同时放行助手机器人,以平衡AI可见性与资源成本。

实操建议:基于日志制定屏蔽策略

OpenAI 明确指出,若希望出现在ChatGPT搜索结果中,应允许OAI-SearchBot访问,即使已屏蔽GPTBot。前者受robots.txt约束并决定内容是否被索引,后者则处理用户浏览行为。

建议网站管理员定期检查服务器日志,识别实际访问的AI爬虫类型。若担心服务器压力,可通过CDN层级进行拦截;若旨在提升AI搜索可见性,应审查当前AI爬虫User-Agent,仅放行符合自身策略的特定机器人。

【声明】内容源于网络
0
0
搜索引擎报
搜索引擎时报
内容 5673
粉丝 0
搜索引擎报 搜索引擎时报
总阅读4.0k
粉丝0
内容5.7k