你的网站正在被 AI 爬虫"悄悄"扫描,你知道吗?
当你还在盯着 Google Analytics 看"人类点击量"的时候,ChatGPT、Claude、Perplexity……这些 AI 平台的爬虫,已经在你的服务器上悄悄进出了成百上千次。
它们来了吗?抓了哪些页面?抓了多少次?有没有被你的防火墙拦截?
今天,GEOly 正式宣布:Cloudflare 深度集成上线!
先看数据:AI 爬虫在你的站上留下了什么痕迹
以下是 GEOly 平台 Demo 站点(geoly.ai)真实采集的 AI 爬虫数据:
7 天内,共记录 1,574 次 AI 爬虫请求,其中:
|
|
|
|
|---|---|---|
|
|
|
94.3% |
|
|
|
|
|
|
|
|
流量最终落地最多的页面:
/(首页)— 995 次,占 65.7% /robots.txt— 223 次,占 14.7% /hot-news/ai-apps-retention-revenuecat...— 64 次 /blog/shopify-sidekick-future-of-ecom...— 58 次
这张 Sankey 桑基图,直观告诉你:每个 AI 平台,分别在抓你哪些页面、抓了多少。这是 GEO 优化最核心的上游信号。
7 天 AI 流量趋势 + 爬虫来源地图
从 3 月 11 日到 3 月 18 日,ChatGPT 爬虫每日请求量稳定在 300 次以上,Claude 和 Perplexity 则保持在较低水平但持续活跃。
爬虫来源国家 TOP 8:
|
|
|
|
|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
AI 爬虫的 IP 分布反映了数据中心的真实位置,而不是"用户所在地"——波兰、瑞士的高排名,正好说明 OpenAI/Anthropic 在欧洲有大量推理节点。这个信号,只有 Cloudflare 层能捕获。
这次集成,技术上做了什么?
GEOly 这次集成了 Cloudflare 的两条核心数据通道:
通道一:Zone Analytics(AI 爬虫流量统计)
对应 GEO 价值:量化"你的内容有没有被 AI 开始抓取"
-
通过 Cloudflare GraphQL API 拉取全站流量日志 -
内置 AI 爬虫 User-Agent 识别规则,精准区分 ChatGPT / Claude / Perplexity / Gemini / Grok / Cohere -
自动拆分成每日趋势、各爬虫请求量、Top 抓取路径、国家分布 -
支持按套餐自动推算"最多可回溯 N 天"的数据窗口,不浪费一条记录
通道二:Security Events(防火墙拦截检测)
对应 GEO 价值:发现"WAF 是否在偷偷拦截 AI 爬虫"
-
从 firewallEventsAdaptive拉取被 block / challenge 的请求事件 -
精准记录:哪个爬虫、什么时间、哪条路径、被什么规则拦截 -
生成被拦截爬虫排行榜( blockedCrawlerSummary)
一个残酷的事实:
很多站点的 WAF 规则,是在"AI 时代到来之前"配置的。它们会把爬虫请求当成恶意爬取直接拦截。结果就是——你以为你的内容在 ChatGPT 上可见,实际上 AI 根本抓不到你的关键页面。
GEOly × Cloudflare,给你直接的证据链。
GEO 不只是"做优化",更是"可验证的迭代"
很多人误解 GEO(生成式引擎优化):以为就是改改文案、加几个结构化数据就完事了。
错。
GEO 的本质是一个可量化的闭环:
没有 Cloudflare 这条线,GEO 的优化就是"盲优"。
有了它,你才能回答:
-
✅ 我配置了 llms.txt,AI 爬虫抓取量有没有变化? -
✅ 我优化了内部链接,核心落地页的抓取次数增加了多少? -
✅ 我的新博客发出去 3 天了,ChatGPT 爬虫来了没有?
哪类用户最需要这个功能?
|
|
|
|
|---|---|---|
| SaaS 独立站 |
|
|
| 内容媒体站 |
|
|
| 电商/品牌站 |
|
|
| 技术文档站 |
|
|
现在就开始
GEOly 的 Cloudflare 集成已对所有用户开放。
只需在 GEOly 控制台绑定你的 Cloudflare Zone,即可在 AI Agent 分析面板看到:
-
AI 爬虫流量趋势(分平台) -
爬虫来源地区地图 -
爬虫 × 页面路径 Sankey 图 -
防火墙拦截事件详情
GEO 的时代已经到来。你的内容,AI 读到了吗?
👉 立即登录 geoly.ai 查看你的 AI 可见性报告
GEOly — 让每一个品牌,在 AI 时代被看见
📌 关于 GEOly
GEOly(geoly.ai)是专注于生成式引擎优化(GEO)的 SaaS 平台,帮助品牌和内容团队量化自身在 ChatGPT、Claude、Perplexity 等 AI 平台中的可见度,并提供可验证的优化路径。平台功能涵盖:AI 引擎洞察、AI 提示词研究、GEO 诊断、AI Agent 分析、品牌 AI 可见度评估等。
往期推荐:
我们分析了550万条AI引用数据,发现Reddit正在"统治"AI 时代的品牌决策
重磅上线 | GEOly 集成 Google Analytics 4,AI 流量归因不再是黑盒
GEOly AI重磅发布MCP:让AI直接分析洞察你的品牌GEO数据
Google官宣:AI购物时代来了!搜索+Gemini打造电商新基建
重磅!Bing站长工具开放AI Performance数据,GEO时代正式到来!

