大数跨境

我上线了一个新网站,第5天AI爬虫就来了

我上线了一个新网站,第5天AI爬虫就来了 王施帆
2026-10-13
7
导读:大家好,我是王施帆,好久不见。最近我上线了一个新网站。因为这段时间一直在研究SEO和GEO,我顺手把服务器里的爬虫访问也记录了下来。

大家好,我是王施帆,好久不见。

最近我上线了一个新网站。

因为这段时间一直在研究SEO和GEO,我顺手把服务器里的爬虫访问也记录了下来。

本来只是想看看Google什么时候来抓,结果前5天的数据挺有意思。

真人大概产生了207次页面浏览,但各种机器人请求已经有750次左右。

里面能看到GPTBot、ChatGPT-User、PerplexityBot这些AI爬虫。

但这5天,ChatGPT、Claude、Perplexity、Gemini给网站带来的实际点击都是:

0。

也就是说,AI已经开始看网站了,但还没给我带来流量。

GPTBot第5天突然把网站扫了一遍

前4天,我基本没看到GPTBot。

到了第5天,它突然访问了67个不同页面,差不多把sitemap里的页面走了一遍。

GPTBot是OpenAI用来抓网页内容的爬虫。

sitemap就是网站地图,里面列着网站有哪些页面,方便搜索引擎和爬虫发现内容。

这个数据给我的感觉是:

新网站上线后,AI爬虫不一定马上来,但来了以后,可能很快就会把网站主要页面看一遍。

所以sitemap、网站结构、重要页面能不能正常访问,这些基础东西还是要先做好。

更有意思的是ChatGPT-User

第4天还有一组访问记录,我觉得更值得看。

ChatGPT-User在一分钟内连续访问了9次。

它看了首页、文档、API文档、服务条款、隐私政策和博客。

ChatGPT-User和GPTBot不太一样。

GPTBot更像平时来收集网页内容。

ChatGPT-User更接近有人在用ChatGPT查一个网页或者一个问题,然后ChatGPT临时过来读取网站内容。

所以看到这组数据时,我会猜:

可能已经有人在ChatGPT里查到这个网站了。

当然,这个没办法百分之百确认,我也不知道对方具体问了什么。

但它访问的页面挺有意思。

除了首页和博客,还看了API文档、服务条款和隐私政策。

这让我重新看了一眼这些“非SEO页面”

以前做SEO,我们很容易把注意力都放在文章上。

写关键词、做博客、做内容。

但现在做GEO,我觉得不能只看博客。

因为用户问AI的问题可能是:

这个产品靠不靠谱?

有没有API?

数据怎么处理?

适不适合企业用?

这些信息,很多都在产品页、FAQ、文档、隐私政策里。

所以这类页面以前可能只是“网站必须有”,以后很可能也是AI了解一个产品的重要来源。

AI来过,不代表它会推荐你

这次最有意思的地方就在这里。

AI爬虫已经来了不少次,但实际带来的流量还是0。

所以我现在不会把“AI来抓网站”直接理解成GEO已经有效果了,还是要看最后带来的流量。

更准确一点说:

它只是开始认识你。

后面会不会引用你、提到你、推荐你,还要看网站内容够不够完整,产品信息够不够清楚。

王施帆自己的看法

以前新网站上线,我最关心的是:

Google有没有抓?

有没有收录?

现在我觉得要会多看一个:

AI有没有来,它看了哪些页面。

这样了解它在什么样的进程。

这次网站上线才几天,GPTBot已经把大部分页面扫了一遍,ChatGPT-User也出现了实时访问。

虽然一个AI用户都还没带来,但至少有件事已经发生了:

在用户从AI里找到你之前,AI可能已经先来把你的网站看了一遍,这点也就挺好的了。









Google Search Console帮助中心:

Google Search Console – 常见问题、优势重要性

常用的Google Search Console验证网站的3种方法

如何向 Google Search Console 添加用户管理员?

如何使用 Google Search Console 进行关键字研究(6个简单步骤)

如何使用 Google Search Console 检查和跟踪网站关键字排名?

8步教你用 Google Search Console 对网站SEO深度诊断检查

Google search console无法抓取站点地图解决思路


GA4.0数据分析教程:

【第一篇】为什么学习 GA4 这么重要?数据思维才是真正的护城河

【第二篇】没有练习网站,就学不好 GA4:手把手带你搭一个专属练习站
【第三篇】在练习站上装好 GA4:从建账户到植入追踪代码
【第四篇】GA4 事件设定与追踪:掌握事件,就掌握了营销成效
【第五篇】超进阶:用代码亲手做 GA4 事件追踪,精准解读用户行为

Google SEO 关键词研究:

学习SERP分析,帮你更快提升Google排名

Google免费关键词词库模板和分步操作指南

写SEO文章,该如何研究关键词、如何布局?

Google优化SEO关键词研究全解析:快速上手指南

如何使用 Google Search Console 进行关键字研究(6个简单步骤)

如何使用 Google Search Console 检查和跟踪网站关键字排名?


Google SEO 内容规划策略:

如何写好一篇长文?

如何大量、稳定产出内容?

SEO写作大陷阱:忍不住想广告,写出浓浓的AD味

顶尖内容公司,运用AI内容的5大技巧

2025年SEO趋势:SEO专家们热烈讨论的9大主题

“内容衰减”,正在影响你的Google排名

AI崛起,“差不多内容”被搜索引擎降权,写手怎么经营?

写SEO文章,该如何研究关键词、如何布局?


Google SEO学院:

SEO为什么这么难学?10年实操近百个案例的总结

SEO学习之旅:从新手到专家的蜕变

一次搞懂Google SEO优化全流程

认识检索 (Crawl) 与索引 ( Index )

内容为王,还够吗?

你写的内容,为什么 Google 不收录?



实战案例:

如何三天让一个网站收录快速从百度清除?

如何用自动化博客做外贸出海流量?从0到日均300+点击

一篇博文如何拿到3.5万次曝光和730次点击?
分享几个Google SEO成功案例
实操案例|网站收录进入瓶颈期,怎么办?













【声明】内容源于网络
0
0
王施帆
13年专注搜索营销,分享经验,也爱聊家常。 尽量每周一篇,带你了解最新搜索营销资讯。
内容 88
粉丝 0
王施帆 13年专注搜索营销,分享经验,也爱聊家常。 尽量每周一篇,带你了解最新搜索营销资讯。
总阅读3.7k
粉丝0
内容88