EP.122 | 79%新闻站屏蔽AI爬虫！

大家好，我是Simon，以下是第122期跨境数字营销资讯。

核心要点

• 新闻网站大规模屏蔽AI爬虫，本质是保护内容资产与变现效率，策略区分训练类与实时引用类爬虫。
• 谷歌AI Overview与AI Mode正转向解决复杂查询，未来SEO/GEO更强调专业度、信息可验证性与结构化表达。
• AI工具流量格局持续变化，内容团队需系统化选型与流程分工，而非盲目追逐平台热度。

79%新闻站屏蔽AI爬虫

BuzzStream对全球Top 100新闻网站robots.txt文件分析显示：

• 79%屏蔽AI训练爬虫，其中CCBot被屏蔽率最高（75%），Google-Extended最低（46%）；
• 71%屏蔽实时搜索类AI爬虫（影响内容在AI引用中的可见性），Claude-Web屏蔽率最高（66%），Perplexity-User最低（17%）。

新闻网站内容量大、更新快，不愿免费提供给AI模型用于训练，因此采取差异化屏蔽策略。

但对常规品牌网站而言，不建议屏蔽AI爬虫——其内容稀缺性低，反需借助AI增强曝光与可发现性。

谷歌招聘AI软件工程师：SEO/GEO新信号

谷歌近期招聘聚焦“提升AI Overview与AI Mode回答质量”的软件工程师。职位描述释放两个关键信号：

1. 复杂查询优先：AI回复将重点覆盖“hard & complicated queries”，意味着EEAT（经验、专业性、权威性、可信度）强的内容权重将进一步提升；
2. 搜索信号升级：Google明确将“leveraging existing Search signals, building new ones”，预示未来排名逻辑更趋多元与深度。

AI工具格局正在悄然重构

SimilarWeb 2026年1月数据显示，AI工具市场份额与流量呈现结构性变化：

1. 主流平台份额变动显著

• ChatGPT：份额64.5%，近12周访问量下降22%；
• Gemini：份额21.5%，近12周增长49%；
• 其余平台份额较小：DeepSeek（3.7%）、Grok（3.4%）、Perplexity（2%）、Claude（2%）。

2. 写作类AI整体流量下降10%

• Growthbarseo：流量近乎归零（-100%）；
• Writesonic（-17%）、Jasper（-16%）、Rytr（-9%）；
• Originality逆势增长17%。

3. 代码类AI表现分化

• Base44（+49%）、Cursor（+8%）、Replit（+2%）；
• Bolt下降39%。