Google 近期启动反爬取负责人招聘，旨在通过分析搜索流量识别抓取器模式、评估影响，并协同工程团队开发新型反爬模型，以全面提升防御能力。
搜索结果抓取对SEO数据的影响
SEO 从业者常依赖 SERP 追踪工具获取排名趋势及竞争情报。此类工具通过大规模自动化抓取 Google 搜索结果，截取排名位置及关键词相关快照。业界推测，这种高频抓取行为可能导致 Google Search Console（GSC）报告的数据出现异常波动。
回顾 SEO 早期历史，Yahoo Overture 曾提供免费关键词数据源。部分从业者频繁搜索甚至使用虚假词组抓取结果，人为推高特定查询的搜索量，以此误导竞争对手优化无效关键词。当前的大规模抓取行为可能重演类似的数据失真问题。
&num=100 参数与展示量争议
随着 GSC 数据的积累，业界愈发怀疑搜索结果抓取夸大了官方关键词展示量。这或许解释了为何 GSC 显示 AI 搜索结果未带来流量，而 Google 内部数据却呈现相反结论。
该推测的依据在于关键词展示量的下降趋势。此前，各类关键词追踪工具普遍利用 &num=100 参数单次获取百条结果，而 Google 近期已禁止该技术，直接影响了第三方工具的抓取效率及数据准确性。
Google 反爬取工程分析师职责
据 Jamie Indigo 披露，Google 正在招募专注于打击搜索数据抓取的工程分析师，核心职责包括：
- 调查分析 Google 搜索滥用模式，基于数据洞察制定对策并增强平台安全；
- 分析数据集以识别滥用行为的趋势、模式及异常点；
- 制定并跟踪指标，衡量爬虫影响及反爬措施有效性，协同工程团队设计、测试并上线新的反爬规则与系统增强功能；
- 调查概念验证攻击及研究报告中的盲点，指导开发优先级，评估检测机制对爬虫及真实用户的影响；
- 为机器学习检测模型贡献信号特征，建立并维护关于爬虫行为者、动机、策略及生态系统的威胁情报。
行业展望：数据准确性有望提升
尽管 Google 尚未发布官方声明，但此次招聘释放了明确信号：平台或将进一步遏制搜索结果抓取行为。此举有望修正被夸大的展示量数据，使 Search Console 反馈的信息更加精准，对 SEO 行业的长期健康发展构成利好。