我还没回，他又补了一句：
"是不是再等等就行？"
这句话外贸老板太爱说了。它背后藏着两个误解——一个是"提交了就该收录"，另一个是"收录了就完了"。做 SEO 的人每天把爬虫、收录、排名挂在嘴边，但真把它们当三件不同的事来看的人，比想象中少。
一、先拆开：这是三件事，不是一件事
我习惯这么跟人解释：
爬虫，解决的是"来不来"。
收录（索引），解决的是"来了之后留不留"。
排名，解决的是"留下了之后排第几"。
三个环节是一条链，每一环都会掉人。爬到不一定收，收了不一定排，排了不一定有流量。
大部分人选错了发力点。页面根本没被收录，他天天琢磨关键词密度；页面收了但排不上去，他跑去找服务器优化——劲儿全使反了。
先搞清楚自己卡在哪一环，比学一堆技巧有用得多。
二、爬虫这一环：2026 年 7 月，谷歌终于把规则写明白了
💡 这节偏技术。 如果你是几百页的外贸站，记住一句话就能跳到第三节：服务器别挂、别返 5xx、robots 别乱挡、sitemap 别骗谷歌。 就够用了。
这一环今年有个大事，很多人没注意。
2026 年 7 月 22 日，谷歌重写了爬虫预算（crawl budget）的官方文档，还把它从 Search Central 搬到了一个新的"抓取基础设施"专区，旧链接永久跳转。
谷歌自己的说法是"一次清晰度和术语的梳理"，不是算法更新，也没改抓取行为。
但我看完觉得，它把三件以前靠猜的事，白纸黑字写下来了。
1. 你的抓取额度是"赚"来的，不是"给"的
以前圈里有个流传很广的认知：大站、老域名、权重高，谷歌给的爬虫预算就多。
新文档把这话掐了。它写的是：每个站（包括新站）都从同一个保守的默认额度起步，额度不按域名年龄、权重或站点大小白送，而是靠两件事慢慢涨——
这逻辑其实挺合理。你一个两百页的站，谷歌配给你和京东一样的抓取能力，纯属浪费。
⚠️ 补一句：网上流传着"默认额度是多少多少"的具体数字。那个数不是谷歌文档里的，别当官方口径引用——谷歌压根没公布。
2. 一个大部分人都记错的事：额度是在谷歌内部"共用"的
新文档明确写了：抓取容量是在谷歌自己的各个爬虫之间共享的。 Googlebot（搜索）、AdsBot（广告落地页）、Google-Shopping 的爬虫、GoogleOther，都从同一个池子拿额度，一个用得猛，剩下的就少。
对超大站的实际影响是：谷歌自家的 AI 检索抓取会和常规索引抓取抢同一个天花板，节奏一乱，真正出钱的页面反而索引变慢。
🔴 注意口径：这里说的是谷歌自家的抓取基础设施，不包括 OpenAI、Anthropic、Perplexity 的爬虫。它们不在这个池子里。
而接下来这段，是全文最容易被传歪的地方。我看到不少中文文章已经写错了：
🔴 别把四个东西混着挡：
• • • •
一句话记法：
💡 搜索归
Googlebot，AI 搜索归各家的搜索爬虫（OAI-SearchBot、Claude-SearchBot、PerplexityBot），训练归GPTBot/ClaudeBot/Google-Extended。
所以"AI 爬虫在抢你的收录额度"这句话，只有指谷歌自家的 AI 抓取时才成立。拿它去吓唬人说"GPTBot 害你掉收录"，那是胡扯。
3. 想让它多来，谷歌只认三个信号
新文档把以前那种模糊说法（"服务器错误""响应要快"）换成了具体的、能测的东西：
304 这条值得单独说。它的意思是：页面没变，你就回一个 304，谷歌复用缓存，不用把整页重下一遍。
这一步省下来的都是额度。 没白抓一遍，那些真改过的页面就能多被抓几次。
但我见过太多站，代码看着配了 ETag，实际每次都变；或者 CDN 拦在中间，条件请求一律返回 200。配了等于没配。
4. 顺便说条容易踩的线：2MB
2026 年 2 月，谷歌更新了 Googlebot 的抓取上限文档，明确写的是：Googlebot 只抓文件的前 2MB（PDF 是前 64MB）。
注意，这属于文档澄清，不是突然砍额度——谷歌的说法是之前文档写得不准，现在改对了。通用抓取基础设施的文档里，默认值写的还是 15MB。
有人拿这个喊"谷歌砍了 87% 的抓取量"，属于过度解读。谷歌的 John Mueller 提过一个数：约 90% 的页面 HTML 不到 151KB。大多数站的正常页面，离这条线远得很。
真会撞线的，是那种把几万行商品数据、整块模板、base64 图片全塞进一个页面的站。这种站我不建议去抠 2MB，建议直接去改页面结构——那本来就是该改的。
5. 但说句实话：多数站根本不用管这一节
文档自己划了范围：爬虫预算主要针对百万页级、每周更新，或者万页级、每天更新的大站——电商、平台、分类信息站这类。
外贸独立站几百几千个页面，服务器别老挂、别返 5xx、sitemap 别乱，就已经够了。花两周研究抓取额度分配，不如把这时间拿去做三张像样的产品页。
三、收录这一环：发现 ≠ 收录
回到开头那个客户。
他以为"提交 sitemap = 让谷歌收录"。其实提交 sitemap 只是"让谷歌知道有这些 URL 存在"，这属于发现。发现和收录之间，还隔着整套评估。
2026 年这一环的关键词是：更挑了。
谷歌愿意发现的 URL 数量，远大于它愿意长期留在索引里的数量。它不再追求把网上的东西尽量收全，而是确保真正重要的页面能被抓、能渲染，并且"显然值得收录"。
那到底卡在哪一步？对着这张表看，比一段段猜要快：
|
|
|
|
|---|---|---|
| 已发现，未收录 |
|
|
| 已抓取，未收录 |
|
|
| 完全没被发现 |
|
|
| 收录了，没排名 |
|
|
💡 还有个判断标准我一直觉得好用：如果你这页只是公开信息的复读——没有独有数据、没有真实案例、没有经验判断——那它的收录优先级和引用概率都会很低。
另外给新站一条参考线：上线超过 6 周还是零收录，就别再等沙盒了，优先排查域名历史（有没有被惩罚过）、robots.txt、sitemap 提交状态、服务器是不是在挡爬虫、以及 GSC 有没有验证。
四、排名这一环：排上去只是拿到入场券
变化最大的一环，但我想说的不是"排名没用了"。
排名当然有用。变化是：排上去，不再等于有人点。
AI Overviews 一出来，排第一的链接点击可能直接少一大截。Ahrefs 的数据显示，AI 摘要出现时，排名第一的结果点击少约 58%——比 2025 年 4 月测到的 34.5% 又恶化了一轮。
⚠️ 这个数来自特定样本和时间段，不是每个行业都掉这么多。B2B 五金、机械这类高客单价品类未必跌到这个幅度。但"零点击在变多"这个趋势是真实的。
所以这一环的完整目标，其实是两个：
① 排进谷歌前几。
② 被 AI 在回答采购类问题时点名。
第二个不是我硬加的。你去问 ChatGPT"推荐几家中国的五金件供应商"，它吐回来的是一份排好序的短名单——名单里没有你，你连被比价的资格都没有。
而要让 AI 点名，靠的往往不是关键词技巧，是那些很"基础"的事。外贸站能马上动手的有三件：
你看，绕了一圈，还是回到"基础"两个字。
五、所以这些对普通外贸站意味着什么
① 别一上来就管爬虫预算。 没到百万页，服务器别抽风就够了，精力还给内容和页面。
② 页面不收录，先查质量门，再查技术。 顺序反了会白折腾很久。
③ 304 这种配置，属于做了不加分、不做悄悄扣分的。 让技术配掉，然后实际测一遍到底生效没有。
④ 别再传"GPTBot 抢你收录"这种话。 抢额度的是谷歌自家那套，控制 token 和爬虫要分清楚。
⑤ 排名和"被 AI 点名"要一起盯。 前者看 Search Console，后者只能自己定期手测。
六、新站 30 天自查清单
这段可以直接存下来对着做：
第 1 天：GSC 验证、robots 检查、sitemap 提交
第 7 天：看 Coverage，是"已发现"还是"已抓取"
第 14 天：抽样看首页和核心产品页，HTML 源文件里有没有正文
第 30 天：还没收录 → 查域名历史 / 服务器 / IP / 模板重复
第 60 天：有收录没流量 → 别怪谷歌，查意图覆盖和内容价值
第 90 天：开始测 ChatGPT / Perplexity / 谷歌 AI Mode，品类词里有没有你
基础这件事有意思的地方就在这儿：规则一直在变，但每次变完，被奖励的还是那批老老实实把基本功做扎实的人。
#谷歌SEO #SEO #谷歌爬虫 #网站收录 #搜索引擎优化 #外贸独立站 #GEO