大家好,我是王施帆,好久不见。
最近我上线了一个新网站。
因为这段时间一直在研究SEO和GEO,我顺手把服务器里的爬虫访问也记录了下来。
本来只是想看看Google什么时候来抓,结果前5天的数据挺有意思。
真人大概产生了207次页面浏览,但各种机器人请求已经有750次左右。
里面能看到GPTBot、ChatGPT-User、PerplexityBot这些AI爬虫。
但这5天,ChatGPT、Claude、Perplexity、Gemini给网站带来的实际点击都是:
0。
也就是说,AI已经开始看网站了,但还没给我带来流量。
GPTBot第5天突然把网站扫了一遍
前4天,我基本没看到GPTBot。
到了第5天,它突然访问了67个不同页面,差不多把sitemap里的页面走了一遍。
GPTBot是OpenAI用来抓网页内容的爬虫。
sitemap就是网站地图,里面列着网站有哪些页面,方便搜索引擎和爬虫发现内容。
这个数据给我的感觉是:
新网站上线后,AI爬虫不一定马上来,但来了以后,可能很快就会把网站主要页面看一遍。
所以sitemap、网站结构、重要页面能不能正常访问,这些基础东西还是要先做好。
更有意思的是ChatGPT-User
第4天还有一组访问记录,我觉得更值得看。
ChatGPT-User在一分钟内连续访问了9次。
它看了首页、文档、API文档、服务条款、隐私政策和博客。
ChatGPT-User和GPTBot不太一样。
GPTBot更像平时来收集网页内容。
ChatGPT-User更接近有人在用ChatGPT查一个网页或者一个问题,然后ChatGPT临时过来读取网站内容。
所以看到这组数据时,我会猜:
可能已经有人在ChatGPT里查到这个网站了。
当然,这个没办法百分之百确认,我也不知道对方具体问了什么。
但它访问的页面挺有意思。
除了首页和博客,还看了API文档、服务条款和隐私政策。
这让我重新看了一眼这些“非SEO页面”
以前做SEO,我们很容易把注意力都放在文章上。
写关键词、做博客、做内容。
但现在做GEO,我觉得不能只看博客。
因为用户问AI的问题可能是:
这个产品靠不靠谱?
有没有API?
数据怎么处理?
适不适合企业用?
这些信息,很多都在产品页、FAQ、文档、隐私政策里。
所以这类页面以前可能只是“网站必须有”,以后很可能也是AI了解一个产品的重要来源。
AI来过,不代表它会推荐你
这次最有意思的地方就在这里。
AI爬虫已经来了不少次,但实际带来的流量还是0。
所以我现在不会把“AI来抓网站”直接理解成GEO已经有效果了,还是要看最后带来的流量。
更准确一点说:
它只是开始认识你。
后面会不会引用你、提到你、推荐你,还要看网站内容够不够完整,产品信息够不够清楚。
王施帆自己的看法
以前新网站上线,我最关心的是:
Google有没有抓?
有没有收录?
现在我觉得要会多看一个:
AI有没有来,它看了哪些页面。
这样了解它在什么样的进程。
这次网站上线才几天,GPTBot已经把大部分页面扫了一遍,ChatGPT-User也出现了实时访问。
虽然一个AI用户都还没带来,但至少有件事已经发生了:
在用户从AI里找到你之前,AI可能已经先来把你的网站看了一遍,这点也就挺好的了。


Google Search Console – 常见问题、优势重要性
常用的Google Search Console验证网站的3种方法
如何向 Google Search Console 添加用户管理员?
如何使用 Google Search Console 进行关键字研究(6个简单步骤)
如何使用 Google Search Console 检查和跟踪网站关键字排名?
8步教你用 Google Search Console 对网站SEO深度诊断检查
Google search console无法抓取站点地图解决思路
GA4.0数据分析教程:
【第一篇】为什么学习 GA4 这么重要?数据思维才是真正的护城河
学习SERP分析,帮你更快提升Google排名
Google免费关键词词库模板和分步操作指南
写SEO文章,该如何研究关键词、如何布局?
Google优化SEO关键词研究全解析:快速上手指南
如何使用 Google Search Console 进行关键字研究(6个简单步骤)
如何使用 Google Search Console 检查和跟踪网站关键字排名?
如何写好一篇长文?
如何大量、稳定产出内容?
SEO写作大陷阱:忍不住想广告,写出浓浓的AD味
顶尖内容公司,运用AI内容的5大技巧
2025年SEO趋势:SEO专家们热烈讨论的9大主题
“内容衰减”,正在影响你的Google排名
AI崛起,“差不多内容”被搜索引擎降权,写手怎么经营?
写SEO文章,该如何研究关键词、如何布局?
Google SEO学院:
SEO为什么这么难学?10年实操近百个案例的总结
SEO学习之旅:从新手到专家的蜕变
一次搞懂Google SEO优化全流程
认识检索 (Crawl) 与索引 ( Index )
内容为王,还够吗?
你写的内容,为什么 Google 不收录?
实战案例:
如何三天让一个网站收录快速从百度清除?
如何用自动化博客做外贸出海流量?从0到日均300+点击

