先说结论
最近如果你打开 Semrush,发现自己网站的关键词数量或预估流量突然掉了一截,先别急着改网站,去把 GSC 和 GA4 打开对一眼。
从 10 月下旬开始,Google 改了对自动化抓取请求的响应方式。紧接着,Semrush 和 DataForSEO 两家头部数据商先后发了公告:爬虫采集 Google 搜索结果这件做了十几年的事,最近卡壳了。
很多人习惯盯着 Semrush 的曲线汇报工作,但第三方工具里的数字,归根结底是“爬下来的排名 + 公式算出来的估算值”。采集链路出了问题,面板上的数字就会跟着跳水,哪怕你的网站在 Google 里的真实排名和点击根本没变。
当然,工具报错的时候,也可能刚好碰上网站真实流量下滑。把来龙去脉和核查方法理清楚,遇到波动才不会慌。
01Google 连出两招,把第三方爬虫卡住了
这波波动背后其实发生了两件事,分别卡住了数据采集的不同环节。
第一件:Semrush 爬到了“掺假”的搜索结果
10 月 27 日,Semrush 在官方博客发了一篇说明,标题很直接,叫《Poisoned SERPs》(被污染的搜索结果页)。
他们发现,Google 对一部分自动化搜索请求返回的结果,表面看着正常,但和普通用户搜出来的完全不是一回事。Semrush 说整个搜索数据行业最近都撞上了这堵墙。
这种异常分两种情况:一种是整页结果明显不对,第一页就和搜索词八竿子打不着;另一种更隐蔽,前几条看着正常,往后翻就开始混进只沾一点边的页面。Semrush 举了个例子:巴西用户搜某款婴儿推车的型号,结果里居然混进了一家牙科器械店——只因为在葡萄牙语里,婴儿推车和牙科推车都用“carrinho”这个词。
目前 Semrush 的应对办法是边拦边洗:采集时识别明显无效的结果,不让它进库;同时加了一道校验,把可疑的数据标出来重新采。Semrush 推测 Google 这么干是为了限制面向 AI 系统的大规模抓数,不过 Google 官方没有回应。
第二件:DataForSEO 卡在了 /goto 中转链接上
另一家底层数据供应商 DataForSEO,遇到的是网址解析的问题。
早在今年 8 月下旬,Google 就把搜索结果里的部分直接链接,换成了 google.com/goto 开头的中转地址。真实网址藏在跳转后面,采集工具必须再请求一次中转地址,才能知道排在第四名、第五名的到底是哪家网站。当时 Google 发言人向 Search Engine Land 确认,这是针对滥用抓取采取的技术限制。
▲ Google 搜索结果链接变化前后对比:之前直接给出网站地址,现在先经过 Google 中转,批量解析时要等待
到了 11 月 2 日,DataForSEO 发公告说 Google 又加码了:同一个搜索结果页里的 /goto 链接,短时间内解析得越多,排队等待的时间就越长。
按他们给的测试数据,前 5~6 个链接还能秒解,到第 15 个就要等 40 秒,极端情况下解一个链接要等 120 秒。而且这个限制是按结果页绑定的,换 IP 或者换搜索词都绕不开。结果就是,DataForSEO 的实时(Live)和高优先级模式,现在只能解析出大约一半的真实网址。
第三方实测的数据还要更严峻一些。德国 SEO 从业者 Hasan Kalkan 在 10 月 30 日用 DataForSEO 标准队列拉了 8 个国家的 508 个结果页,4,344 条自然搜索结果里,有 2,552 条只拿到了中转地址,占比 58.7%。他在 11 月 3 日更新的测试里,德国和美国市场依然有 60.6% 的结果缺失真实网址。
两份公告说的不是同一口锅
这里要注意区分:Semrush 公告说的是“搜索结果内容失真”,DataForSEO 公告说的是“真实网址解不出来”。
Semrush 曾在 8 月底的 LinkedIn 动态里提过,早期的 /goto 跳转没有影响他们的排名追踪。截至 11 月 5 日,Semrush 也没有针对 10 月底这波新限速发过通知。所以我们看数据的时候,不用把 DataForSEO 的解析失败率直接套在 Semrush 头上,但两边都印证了一件事:近期 Google 对第三方自动采集的拦截明显升级了。
▲ 两份官方公告截图:左为 Semrush 10 月 27 日说明,右为 DataForSEO 11 月 2 日公告
02采集出问题,为什么词数和预估流量会一起掉?
平时大家在 Semrush 里最常看的“自然搜索排名报告”(Organic Research),底层逻辑其实很简单:Semrush 在某个国家的词库里定期跑抓取,只要发现你的域名进了某个词的前 100 名,就把这个词算到你头上;然后再拿这个词的月搜索量、你的排名位置和对应位置的平均点击率(CTR),乘出来一个“预估流量”。
看明白这个链条,就知道为什么采集一抖,面板上的数字会跟着连环掉了:
- 漏认了域名,词和流量直接归零:
假设你的页面在 Google 真实排第 5 名,但某次抓取只拿到了中转地址,或者页面被乱序结果挤走了,工具没认出这位置属于你。那这个词就会从你的报告里消失,它贡献的那部分预估流量也会直接扣掉。但实际上,真人在 Google 里照样能搜到你、点进你的网站。 - 工具洗掉脏数据,账面词数也会缩水:
前阵子由于搜索结果失真,有些网站名下莫名其妙多了一堆毫不相干的词。现在 Semrush 把这批脏数据筛掉重采,关键词总数看起来也是往下走的。
▲ 机制示意:采集结果异常或网址未解析,导致关键词记录遗漏或排名识别出错,预估流量跟着变化;网站实际点击和访问需要单独核验
03看 SEO 表现,四类数据各司其职
做独立站 SEO,最忌讳拿单一工具的估算值当成最终业绩。平时复盘,我们一直建议把四类数据摆在一起看:
另外有两个细节经常被忽略:一是 Semrush 的“域名自然搜索库”和你自己建的“排名追踪项目”(Position Tracking)采集频率与机制不同,受波及的程度往往不一样;二是 GSC 的点击数和 GA4 的会话数统计口径本来就不同,拉表对比前,先把时间段、国家、设备和落地页范围对齐。
04看到指标跳水,按这三步排查
如果你手头的站点这几天刚好在 Semrush 里出现大跌,建议按下面三步顺藤摸瓜:
第一步,先存底,排除筛选条件变化。把异常的报告截图或导出留档,记下当时的时间、国家库、设备端和具体掉词的页面,先确认是不是切换了数据库或过滤条件。
第二步,抓核心业务页,拆开品牌词与非品牌词。不要在几千个边缘长尾词里打转,直接挑出带来核心流量和转化的重点品类页、产品页,去 GSC 里看同期的非品牌词点击有没有掉。如果 GSC 点击真掉了,再按常规排障流程查收录、查技术改动、查搜索需求季节性。
第三步,对照下面这张表决定动作:
|
|
|
|---|---|
| Semrush 指标大跌,但同范围的 GSC 点击、GA4 访问很稳 |
|
| Semrush 掉了,GSC 相关页面点击和 GA4 自然访问也跟着掉 |
|
| GSC 点击和 GA4 访问都稳,但有效询盘或订单掉了 |
|
▲ 核查三步:确认数据统计方法,对照网站自己的搜索和访问数据,检查询盘和订单;结果分为工具数据异常和真实表现变化两种,都要核验
给翼果合作客户的一句定心丸
如果你近期在 Semrush 上看到自己的关键词数、预估流量或排名出现异动,直接把截图发给你的项目经理就行。我们会拉出站点在 GSC、GA4 里的第一方数据和实际询盘记录逐一比对:确属工具采集异常的,给你拿出数据证据;真有页面排名下滑的,我们负责定位原因并跟进优化。
行业工具的采集波动,不会改变我们已经约定的服务目标和考核标准。
05附:自建监控调 SERP API 的团队,建议加一道校验
如果你的团队自己写脚本调 DataForSEO 等 SERP API 做排名监控,最近要格外小心一个坑。
当 API 没能解出 /goto 跳转时,返回的 JSON 数据里,排名位置(rank_group)还在,但 domain 会变成 google.com:
{
"rank_group": 4,
"domain": "google.com",
"url": "https://google.com/goto?url=CAES...",
"breadcrumb": "https://example.com"
}
如果你的看板脚本直接拿 domain 字段去匹配客户域名,就会把原本排在第 4 名的结果直接判成“跌出前 100 名”。建议让开发同学在数据入库前加几条校验规则:
|
|
|
|---|---|
url
|
|
domain
google.com
|
|
breadcrumb
|
|
|
|
|
|
|
|
最后一条来自 HasData 在 11 月 2 日做的 10 家 SERP API 横测:目前部分 API 的普通自然结果已经能绕过或解开真实网址,但 AI Overview 引用卡片里的链接依然大量残留着 /goto。
06参考资料
本文涉及的官方公告与第三方实测数据统一核验于 2026 年 11 月 5 日:
-
Semrush,《Poisoned SERPs: An update on Google ranking data in Semrush》,2026-10-27。 -
Search Engine Land(Barry Schwartz),《Google confirms deploying goto URL redirects to search results links》,2026-08-26。 -
DataForSEO,《Google's New GoTo URL Limits and How This Affects Your Results》,2026-11-02。 -
Hasan Kalkan(EverGrow SEO Solution),《Google /goto 与 SERP API 实测》,2026-10-30 首测,2026-11-03 更新。 -
HasData,《Google /goto links: 10 家 SERP API 对比》,2026-11-03。 -
Semrush,《关于 google.com/goto 的早期说明》,LinkedIn,2026 年 8 月底。 -
Semrush,《Organic Rankings Positions Report》《Semrush Rank》《Position Tracking Overview》,帮助文档。 -
Google Search Central,《Using Search Console and Google Analytics data for SEO》《Debugging drops in Google Search traffic》。

