Cloudflare与OpenAI联合发布的试点项目初步结果显示，该项目已协助OpenAI发现并收录数亿个新网页。该试点基于约占Cloudflare总网络流量1%的参与群体开展。双方于7月8日宣布启动该项目，并于10月15日在Cloudflare博客上公布了由OpenAI员工撰写的阶段性成果。
文章指出，发现新页面初期可能导致爬取量增加，但并未披露这些页面在ChatGPT中的引用频率或带来的具体访问量。
Cloudflare信号助力OpenAI精准发现高价值页面
OpenAI利用Cloudflare的网络信号辅助爬虫识别有价值的网页。博客列举了洗衣机用户指南、护照最新要求及费用、餐厅菜单与营业时间等案例，强调即便缺乏外部链接，此类页面仍具重要价值。
根据7月8日的公告，新增信号维度包括页面更新时间、网站流量质量及实际变更内容。尽管这些信息源自参与试点的网站，但两份公告均未透露具体参与方名单，也未说明新发现页面是否直接来源于这些站点。
信号机制优化爬取效率与安全过滤
Cloudflare的信号不仅用于发现新内容，还能帮助OpenAI爬虫规避无效请求。针对服务器上不可用文件、全站重定向至主页或重复内容副本等情况，变更信号可指导爬虫判断是否有必要再次访问特定网页。
双方还在测试标记潜在有害页面的信号。例如，当攻击者在合法网站植入虚假登录表单时，系统旨在精准标记该页面而非封禁整个域名。初步结果表明，该机制有助于有效识别并排除不应索引的内容。
此举意在减轻Cloudflare客户的非必要服务器负载，但目前尚未提供具体的抓取量或负载降低数据。官方确认，因新页面正处于评估和索引阶段，短期内爬取量可能会有所上升。
信号仅辅助发现，访问权限仍由爬虫设置决定
10月15日的文章明确声明：“关于某个页面的信号并不授予访问它的权限。”研究人员正利用网络元数据提升搜索引擎的发现能力，而非将页面内容直接用于模型训练。
OpenAI将搜索与训练划分为两个独立的robots.txt指令。若网站屏蔽OAI-SearchBot（搜索机器人），则不会出现在ChatGPT搜索结果中，但仍可能作为导航链接展示；若同时允许GPTBot（训练内容收集机器人）和OAI-SearchBot抓取，单次采集的数据可能被用于双重目的。
文章引导用户关注Cloudflare的AI抓取控制功能，该功能现已覆盖所有计划，可显示访问网站的AI服务并提供针对性的允许或阻止选项。
对网站运营的实际影响
页面被纳入OpenAI索引后，将成为ChatGPT的信息来源之一。但OpenAI会对索引内容进行独立评估与排名，因此通过试点被发现并不意味着必然获得引用。
允许OAI-SearchBot而屏蔽GPTBot，可使网站保留在ChatGPT搜索结果中的可见性，同时确保内容不被用于训练。OpenAI已在官方文档中将此配置列为推荐示例。
追踪ChatGPT流量通常依赖UTM标签或引荐来源。此前部分链接缺失上述标识，相关修复措施已于10月15日开始逐步推送。
未来规划与落地时间表
下一阶段工作将聚焦于改进AI选页逻辑、测试更敏捷的内容变更指标，以及量化AI发现新内容的效果。Cloudflare表示，正与OpenAI合作验证内容发现能力的业务转化价值。
根据7月1日发布的公告，Cloudflare计划于2026年剩余时间内广泛提供该能力，但10月15日的更新未公布确切日期。目前，OpenAI在您站点上的爬虫活动均可通过服务器日志及AI抓取控制面板进行监控。