9月15日之后，你的外贸网站可能"从AI世界里消失"——但你根本不知道

先讲一件真事。

有家做暖通设备的外贸工厂，英文官网做得挺不错——产品全、设计好、英文也地道。老板自己打开看，一切正常。

但检测工具从海外访问这个网站时，看到的不是官网，而是一张防火墙拦截页。页面标题写着"宝塔网站防火墙"，正文内容141个字符，基本什么都没有。

也就是说，海外买家问AI"这种设备有哪些靠谱供应商"的时候，AI来读这家工厂的网站，读到的是一张防火墙拦截页。

工厂老板知道吗？不知道。因为他自己打开网站，永远是正常的。

这不是个别现象。最近有人对107个外贸网站做了检测，发现超过六成的网站在AI眼里是"残缺"的——有的页面结构混乱，有的中英文站没有告诉AI它们是同一家公司，有的连主标题都没有。

而9月15日之后，这个问题会更严重。

❶ Cloudflare改了一个默认设置，影响几十万个网站

Cloudflare是全球最大的网站基础设施服务商之一，全球超过20%的网站都在用它的CDN和安全服务。很多外贸建站公司默认就给你挂上Cloudflare，你甚至不知道自己网站背后有这个服务。

7月1日，Cloudflare宣布了一个重大变化：

从9月15日起，对新加入的域名、现有客户新开的站点，以及从没用过付费版也没改过设置的免费用户，AI爬虫的默认设置变了。

具体来说，Cloudflare把AI爬虫分成了三类：

Search（搜索类）：给AI搜索做索引、供AI回答引用用的爬虫

Agent（代理类）：买家让AI实时帮他查供应商，AI代替他来访问你网站

Training（训练类）：抓你的内容去训练AI模型的

9月15日起，Training和Agent会被默认屏蔽，只有Search保持放行。

这意味着什么？

如果你的网站用的是Cloudflare免费版，而且你没手动改过设置——9月15日之后，AI代理类爬虫和训练类爬虫会被自动挡在门外。

买家让AI帮他实时对比供应商（Agent类），AI到了你网站门口发现进不去，转头就走了。

❷ 更要命的是：Googlebot也可能被误伤

这里有个关键细节。

Google的爬虫Googlebot，其实是一个"混合用途"爬虫——它既给传统搜索做索引，也喂Google的AI功能（Gemini、AI Overviews）。

Cloudflare的新规则是：如果一个爬虫同时做搜索和训练两种用途，按最严格的规则执行。

也就是说，如果你的设置里屏蔽了Training，按照规则，连Googlebot也会被一起屏蔽。

后果是什么？你的网站直接从Google搜索结果里消失。

当然，Cloudflare说了，这个默认规则只针对"带广告的页面"生效。如果你的外贸独立站没有展示广告（大部分B2B网站确实没有），这个默认规则对你不会直接生效。

但问题来了——很多外贸建站模板默认带了一些广告插件或跟踪代码。Cloudflare的分类器会自动检测你的页面是否"带广告"。如果被误判为广告页面，默认屏蔽规则就会生效。

而且，Cloudflare也承认，这个检测分类器是自动运行的，站长无法审计它的判断逻辑。

你甚至不知道自己网站的哪些页面被Cloudflare判定为"带广告页面"。

❸ 有个研究更扎心：屏蔽AI爬虫，反而会损失正常流量

有人可能想：那我干脆把所有AI爬虫都屏蔽了，是不是最安全？

罗格斯大学和沃顿商学院联合做了一项研究，发现了一个反直觉的结论：

那些通过robots.txt彻底封杀AI爬虫的网站，在实施拦截后六周内，每周损失了约7%的整体网站流量。

不是AI流量降了，是正常的人类访客流量也降了。

为什么？因为AI爬虫和人类访客走的是同一个通道。你把门一关，确实挡住了AI，但同时也挡住了通过AI找到你的真人。

2026年的现实是：73%的B2B买家在采购调研中使用AI工具，51%的海外采购商开始通过AI筛选供应商。你屏蔽了AI，等于把这73%的买家都拒之门外了。

❹ 外贸网站真正该做的事：不是关门，是开门

说了这么多问题，到底该怎么办？

其实核心就一句话：让AI爬虫进来，而且要让它顺畅地进来。

具体做三件事：

第一件：检查你的robots.txt

在浏览器地址栏输入 你的域名/robots.txt，看看里面有没有这样的内容：

如果有，说明你的网站正在屏蔽AI爬虫。这些规则可能是建站模板或者某个"防采集"插件默认带的。

正确的做法是反过来——放行AI搜索爬虫：

第二件：检查你的Cloudflare设置

登录Cloudflare后台 → Security Settings → Configure AI bot policies，看看Search、Agent、Training三个类别分别设成了什么。

如果你是免费版用户且从没改过设置，在9月15日之前，建议手动把Agent类设为"Allow"，或者直接在后台选择opt out退出新默认值。

第三件：给AI一份"说明书"

在网站根目录放一个 llms.txt 文件，告诉AI爬虫你的网站有哪些核心内容。这个文件就像给AI一张导航地图，让它快速找到你最重要的产品页、FAQ、技术文档。

❺ 一个思维转变：AI爬虫不是小偷，是快递员

很多外贸老板一听到"爬虫"就觉得有人在偷我的数据。

换个角度想：

AI爬虫是AI派来"取货"的。你让它取走你的产品信息、你的专业内容、你的资质认证——它带回去之后，就会在买家提问的时候把你"送"出去。

你花了几万块做的产品页面，写了200篇知识文章，就是为了在AI回答客户问题的时候被提到。如果爬虫根本进不了你的网站，这一切努力全部白费。

这不是技术人员的活，这是2026年外贸获客的基本功。

写在最后

9月15日是一个节点，但不是终点。

Cloudflare的默认设置变化，影响的只是用了Cloudflare的那部分网站。但更深层的趋势是：AI搜索正在成为外贸获客的主通道，而你的网站"对AI友不友好"直接决定了你有没有流量。

不是未来的事。现在就有人在用AI找供应商，有的AI爬虫正在被你的防火墙挡在门外，而你浑然不知。

今天就能做的一件事：打开浏览器，输入 你的域名/robots.txt，看一眼里面写了什么。

十分钟的事，可能会改变你2026年下半年的获客格局。

我们帮客户做GEO优化的第一步，就是检查网站的爬虫配置和AI可见性。很多网站的问题不是内容不好，而是门没开。如果你不确定你的网站在AI眼里是什么样子，可以加我微信，帮你看看。