网站收录慢? 5 个技术
SEO 技巧,助力谷歌快速收录页面 内容
质量决定收不收,技术环节决定收多快 收录慢,跟不收录是两件事,处理方向也不一样。 不收录,Search Console 会直接告诉你原因:已发现、尚未编入索引,或者已抓取、尚未编入索引。那类问题要先修通路,门没开,谈
速度没意义。 收录慢是另一回事。页面在被抓,数量也在涨,就是慢。别人一个月能收完的一批页面,你这儿要走三个月。这时候还去补内容、改标题,往往没什么用,因为拖住它的不是文字。 顺便给个基准。新页面从被发现到进索引,正常是一到四周。站点权重高、内链顺的,可能三五天;权重低又要排队,六到八周也不奇怪。判断"慢"得拿这个当尺子,别跟自己上一批比,也别拿头部站的速度当标准。 还有个容易忽略的点:收录速度不是匀速的。同一批页面,第一批可能一周收完,后面几批越来越慢。这不是
Google 针对谁,是抓取资源被前面的页面占住了。越到后期,越要看技术层面。 常见的三个误判也得提一下:把收录慢当成内容差,拼命改文案;所有页面一起推,结果哪个都没推上去;盯一周的数据就下结论,实际上抓取周期本来就按周走。三个都指向同一件事——没先分清慢在哪一层。 内容质量决定收不收,技术环节决定收多快。下面这五个地方,是这几年看下来最常拖慢收录速度的。都是技术活,大多能当天动手。 动手之前先做一件事:打开 Search Console 的抓取统计信息,看最近三个月 Googlebot 每天抓了多少页。曲线平、或者一路往下,重点查前两个技巧;抓取量正常、页面却迟迟不进索引,重点查后三个。 01 · 先判断慢在哪一层 "收录慢"是一个笼统的感受,落到数据上至少分三种,对应的改法完全不同。 抓得少。Googlebot 一天只来抓几十次,页面排着队。这种情况改内容没用,要解决
服务器响应和站点结构。 抓得多,收得少。抓取次数不少,但大量页面停在"已抓取、尚未编入索引"。往往是页面重复、内容太薄,或者类型不对。 抓取集中在少数页面上。统计里看得到,每天抓的翻来覆去就是首页、分类和几个老页面,新页面几乎没被碰过。这就是抓取配额被占住了。 抓取统计里还有一份"按用途"的拆分,分刷新、发现、重新抓取几类。新页面主要靠"发现"这一项。如果它长期很低,多半是站内缺少通向新页的链接,不是内容的问题,改文案改到明年也没用。
有条件的话,去服务器日志里看 Googlebot 的访问记录,比 GSC 的统计更细。看它每天抓多少、抓了哪些路径、返回的状态码是什么。日志是免费的,只是大部分人没打开过。 看日志重点看三样:Googlebot 请求占全站请求的比例、200 和 404 各占多少、每天抓的
URL 里有多少是重复的。404 占比高,说明有死链在漏抓取;重复 URL 多,说明参数没收住。这两项比"一天抓了多少次"更有判断价值。 Search Console 那边也别只看总数。网页
报告里按状态筛一下"已抓取、尚未编入索引",看这批页面都是什么类型。如果集中在筛选页、标签页、分页,问题就在配额;如果集中在产品页、文章页,问题多半在内容或渲染。两种走法完全不同。 02 · 技巧一:把首字节
时间压下来 Googlebot 来抓你的页面,是在花它自己的时间。页面三秒才吐出第一个字节,它这次能抓的页面数量就少一半,抓一次慢一点,下一次来的间隔也会拉长。 Google 没有公开过"响应时间多少秒会降权"这种数字,但从官方对服务器错误的说明能看清楚一件事:5xx、超时、连接被拒,都会直接影响抓取安排。响应慢虽然不算错误,效果是类似的。 查起来很简单。找一台目标市场的服务器,用命令行测一下你们的首页和几个产品页,看 TTFB 是多少。别在自己办公室测,国内访问快不代表海外客户快。超过一秒就要看了,超过两秒基本可以确定是拖累项。 TTFB 和整页加载是两件事,别混。首字节快、图片和脚本拖到五秒才加载完,用户体验是差,但对抓取的影响没有 TTFB 大,Googlebot 主要等的是 HTML。先把 HTML 吐出来,再谈别的。 还有个常见坑:给站点堆"加速插件"。插件本身也吃资源,尤其是那种全站预加载、自动压缩、实时替换 CDN 的,装多了反而更慢。取舍看测出来的数,不看插件说明页上的宣传。 一个做工业风机的站就是这样。主机放在国内机房,页面在本地测 0.3 秒,
欧洲客户测出来 1.8 秒。抓取统计里,Googlebot 每天的请求数一直在两百上下,几千个页面排着队。后来把站点挪到目标市场附近的机房,前面挂一层 CDN,页面加了缓存,TTFB 落到 0.5 秒以内,三个月后抓取量翻了大约一倍多。 这里要提醒一句:不是所有站都该搬服务器。客户主要在
东南亚,主机放
新加坡;主要在
美国,放美西或者美东;做全球生意,用 CDN 把静态资源铺开。先看询盘来自哪,再决定放哪。 还有个细节:TTFB 慢,有时候不是主机的问题,是数据库。产品页要关联价格表、库存表、分类表,一个页面跑二三十次查询,主机再好也快不起来。这种情况先看有没有页面缓存,把渲染好的 HTML 存下来,比换服务器便宜得多,见效也快。 顺带说一句国内主机的问题。主机放在国内、客户全在海外的站很常见,原因通常是建站公司图省事。这类站不换机房,光挂 CDN 效果有限,因为 HTML 本身还是从国内吐出去的,CDN 只能帮你加速图片和样式。 能当天做的三件事:把首页和产品页的缓存打开;压缩产品图,一张主图压到 200KB 以内;检查有没有插件或者统计脚本在拖慢首屏。这三件不用改架构,做完再测一次。 03 · 技巧二:让内容出现在初始 HTML 里 Google 会执行 JavaScript,这点官方说得很清楚。但还有半句常被忽略:渲染是排队的,不是抓完立刻渲染。抓取和渲染之间隔着一段时间,页面越多、JS 越重,这段间隔越长。 如果产品列表、价格、规格、正文全都靠 JS 拉,Googlebot 第一次拿到的 HTML 里基本是空的。它得先把这页排进渲染队列,渲染完才知道内容是什么。收录速度慢,很多时候慢在这一步。 验证起来不难。用 Search Console 的网址检查,输入一个产品页,点"测试实际网址",往下翻到"已渲染的 HTML"。里面能看到产品名和参数,说明没问题;只剩一个框架和几行脚本,那就是要改的。这个检查免费,比猜快得多。 一个做户外家具的站,分类页用了前端框架,产品卡片全靠接口返回。在浏览器里看很正常,查看源码只有几个空 div。结果产品页几乎只能靠 sitemap 被发现,抓取统计里一天不到五十次。后来把分类页改成服务端渲染,HTML 里直接带上前二十个产品链接和名称,剩下的再用 JS 分批加载,情况才慢慢好转。 改法有三档,按投入排: 服务端渲染。最彻底,也最花工。适合产品页、分类页这类核心页面。 预渲染。把页面提前渲染成静态 HTML 存起来,爬虫和用户拿到的都是成品。改动比上一档小,适合页面结构稳定的站。 关键内容写进 HTML。预算不够的时候,至少保证标题、产品名、关键参数、内链是服务端输出的。JS 负责交互,不负责内容。 这三档不用二选一。核心分类页和主推产品页上服务端渲染,结构稳定的页面做预渲染,长尾型号页保证关键信息进 HTML,大部分外贸站这样配就够了。 顺带两个小地方。导航菜单用真正的 a href 链接,别用 div 加点击事件,爬虫不认后者。列表用无限滚动的,记得给一个可访问的分页 URL,不然滚动出来的内容在爬虫眼里根本不存在。 自检办法很土:在浏览器里禁用 JavaScript,重新打开你的产品页。还能看到产品名和参数,说明没问题;只剩一个空白框架和加载动画,那就是在拖慢收录。
04 · 技巧三:别让无效页面吃掉抓取配额 抓取配额这个词,官方承认存在,但没有公布具体数字。行业里的理解是:一个站每天能分到多少次抓取,跟站点规模、更新频率、服务器表现有关。配额有限,分给谁很重要。 大部分外贸站的配额,是被三类页面吃掉的。 参数组合页。颜色、尺寸、材质、排序、翻页,每换一个筛选条件就生成一个新 URL。一个电动
工具站,两百个产品能筛出两万多个组合地址。爬虫进来一次,光跟着这些链接爬就出不去了。 软 404 页。页面返回 200,内容却是"暂无产品""该分类正在整理"。Google 把这叫软 404,不会收录,但会反复来确认。分类页空着就先别放出来,或者把状态和交期写清楚,别让它顶着 200 站在那儿。 分页和标签页。文章标签页、日期归档、翻页。分页本身该留,但 rel next / prev 这套标记 Google 早就不用了,别指望它帮你合并。真正有用的是让分页 URL 保持干净,别叠加参数。 分页要不要 noindex,得看情况。翻页本身收录价值不大,但如果分页上列着独立的产品,一刀切 noindex 会连那些产品的发现路径一起掐掉。拿不准的时候先只处理筛选组合,分页留着观察两周。 处理办法按优先级来。组合页用 canonical 指回不带参数的列表页;确实没价值的分页和标签页加 noindex;内容重复的变体合并成一个。这里有个细节要注意:先用 noindex,再考虑 robots.txt。一个 URL 被 robots.txt 挡住,Google 就读不到页面里的 noindex,反而可能因为别处的链接把它收录成一个空壳。 canonical 也别乱用。它是建议,不是命令。A 页面 canonical 指向 B,但 A 自己有外链、有搜索流量,Google 可能直接无视这个标记。想让页面彻底不出现,noindex 比 canonical 干净。 查这类页面有个笨办法,但很有效:把索引报告里"已排除"的几类数字抄下来——重复网页、已抓取未编入索引、被 noindex 排除、软 404,隔两周再看一次。哪一类涨得快,就是当下最该处理的。数字不会骗人,感觉会。 判断一个页面该不该留,有个简单的问法:这个页面用户会不会主动搜到、点进来之后能不能解决一件事。两个都答不上来,它就是在占配额。 05 · 技巧四:把内链压平,让新页面有路可走 Google 发现新页面的主要方式是链接。sitemap 有用,但它更像一份清单,真正决定优先级的是站内有没有人指着这个页面。 一个做木工机械的站,产品页藏在"产品中心 → 木工系列 → 砂光设备 → 型号"第四层,而且分类页只显示图片,型号页要点进去才看得到链接。结果新上的十几个型号页,三个月只被收了两个。后来把分类页改成带文字链接的列表,加了面包屑,首页加了一排主推型号入口,同样的页面两周内陆续进了索引。 能做的就几件事,都不难: 层级控制在三层。首页到分类到产品,再多就加一个 HTML 站点地图兜底。抓取深度每多一层,被发现的概率就低一截。 面包屑做成真链接。它是最省事的补路方式,每个页面都该有。 新页面从老页面链过去。发布当天,找三到五个已经收录的相关页面,在正文里自然提一句,链到新页。锚文本写清楚内容,别用"点击查看"。 查孤立页。用爬虫工具跑一遍全站,把"只能从 sitemap 进入、站内没有任何链接"的页面列出来。这批页面收录慢是正常的,因为它们对爬虫来说不存在。 锚文本别偷懒。"点击查看""了解更多"这种,对用户没帮助,对爬虫也没信息。写"砂光机型号列表"比写"查看更多"强,前者告诉 Google 目标页是什么。同一个目标页,站内不同位置可以用不同锚文本,不用强求统一。 内链也不是越多越好。一个页面塞几十个链接,权重被摊薄,爬虫也未必都跟。产品页正文里放三到五个真正相关的链接,比侧栏挂一长串推荐有用。 顺手说一句 XML sitemap。别一次性塞几万个 URL,按类型拆成几份,每份控制在合理规模,只放 canonical 自身、200 状态、确实需要被收录的地址。里面混进重定向、404、noindex 的链接,等于给爬虫递了一份错误清单。 06 · 技巧五:让页面"看起来真的变了" 抓取是有成本的,Google 会把次数花在它觉得值得再看一遍的页面上。一个页面半年没变、内容又薄,它来一次就够,下次再来可能是几个月后。 所以提速这件事,不只是"发新页",还包括"让老页有变化"。 sitemap 的 lastmod 写真实的修改时间。有些插件每次生
成都把全部页面刷成今天,这等于告诉 Google 全站天天在变。头几次它还会信,几次之后这个信号就废了。真实的时间戳才有参考价值。 更新优先于新增。一个已经有抓取历史的产品页,补上参数表、尺寸图、包装信息和真实案例,比新发一个类似页面更容易被快速重新抓取。新页要从零开始建立信号,老页已经有底子。 把重定向链清干净。A 跳 B、B 再跳 C,一路蹦到 D,这种链条爬虫每走一次都多花一次请求,也容易把页面判成旧地址。能改成一步 301 的,就改掉。 改完 301 还有一步容易漏:站内和 sitemap 里指向旧地址的链接要跟着换。链条上那些中间页如果还被人指着,爬虫会一直走这条旧路,改了半天等于没改。 还有个动作值得说清楚:Search Console 里的"请求编入索引",是官方给的、对单个页面最直接的工具,但每个站点有每日配额,它也只是排进队列,不保证被收。用法上别一天点几百个,挑这个月真正要推的十几个页面,先确认抓取和渲染都正常,再提交。 更新也有讲究。改标题、换关键词、调一下排版,这类改动对爬虫来说几乎等于没变。真正让页面"看起来变了"的,是补了新的参数、加了实拍图、更新了交期和认证信息、加了新的应用案例。改动要落在正文里,不是模板里。 提交 sitemap 也是同理。官方把它的作用说成提示,不是命令。它能帮 Google 更快知道有这些地址,收不收还是看页面本身。把它当成"提交了就一定会收",大概率会失望。
07 · 两个边界,免得把技术当万能 五个技巧解决的是"快",不解决"值不值得收"。 一个模板批量生成、每页只换个型号的站,把服务器、渲染、内链全修好,收录速度确实会快,收进来的还是一批没人搜的重复页。节奏快了一点,方向还是错的。技术优化能把门打开,进门之后有没有东西,是另一回事。 反过来也一样。内容做得再扎实,服务器一天挂三次、产品页全靠 JS 拉,收录照样慢。这两件事不是二选一,是先后。先修通路,内容才有机会被看到。 还有个现实问题:很多外贸站的技术权限不在自己手里,在建站公司那儿。改个渲染方式要排期,加个 canonical 要提需求,来回几轮半个月就过去了。这种条件下别贪多,一次只推一项,按影响面排优先级,先做服务器和首屏这两件最容易见效的。 另一件事是时间预期。技术层面的改动,通常一到两周能在抓取统计里看到反应,收录数再往后推一到四周。内容层面的调整慢得多,按月算。中途反复改,会把判断依据搅乱,到头来自己也不知道是哪一步起了作用。一次改一项,改完记下日期,两周后再看数,这样才对得上。 一句提醒:市面上的"快速收录"服务,多数是往聚合站提交或者用代理抓取。收录数可能真的会动,收进来的却常常是低质量页面,拖累的是整站。这类钱花出去,最坏的结果不是没效果,是有效果。 B
OTTOM
LINE 收录慢,先别怪内容,也别怪算法。按技术顺序排一遍:服务器响应、JS 渲染、抓取配额、内链结构、页面的变化信号。 这五处里,前两处解决的是"能不能顺畅抓到",后三处解决的是"抓到了愿不愿意收、收了会不会再来"。顺序别倒,先修通路再谈配额。 改的时候一次只动一处,记下日期,两周看一次数。全改完再看,涨了也不知道是哪一步起的作用,下次出了问题一样摸不着方向。 今天能做的两件事:在浏览器里禁用 JS 打开一个产品页,看还剩多少内容;打开 Search Console 的抓取统计,看最近三个月的曲线是平的还是在涨。这两眼,通常就能判断该从哪个技巧开始。 — END — #谷歌SEO #网站收录 #技术SEO #
外贸独立站 #Google排名