大数跨境

Microsoft Clarity 现在标记无视 robots.txt 的爬虫

Microsoft Clarity 现在标记无视 robots.txt 的爬虫 搜索引擎报
2026-06-24
6
导读:Microsoft Clarity 的 Bot Analytics(机器人分析)仪表板现在可检测当爬虫请求您的 robots.txt 禁止访问的 URL 时的情况,并提供按爬虫和运营商分类的趋势与筛选

Microsoft Clarity 在 Bot Analytics 仪表板中新增违规爬虫请求展示功能,旨在帮助网站所有者识别并监控违背 robots.txt 规则的 AI 爬虫活动。该数据以总爬虫活动量百分比的形式呈现,并已整合至现有的 AI Visibility(AI 可见性)工具中。

违规视图核心功能

Clarity 会根据网站 robots.txt 指令自动校验爬虫请求路径。若请求访问了被禁止的路径,系统将在指定时间段内将其统计为违规占比。

支持多维度筛选分析,包括爬虫运营商、名称、请求类型及 URL 路径等。通过并排视图,用户可直观对比合规爬虫与违规爬虫的行为模式差异,精准定位异常流量来源。

启用条件与支持环境

该功能默认关闭,需由站点管理员在项目设置的“AI 可见性”模块中手动开启。目前仅支持接入特定 CDN 的站点,包括 Fastly、Amazon CloudFront、Cloudflare、Azure Front Door、Akamai,以及使用最新版 Microsoft Clarity 插件的 WordPress 站点。

功能价值与应用场景

针对 AI 爬虫消耗服务器资源及干扰分析数据的痛点,该功能提供了零成本的监控方案。需注意,robots.txt 仅为建议性协议而非强制拦截机制,因此 Clarity 记录的是成功抵达禁访路径的请求,而非被阻断的请求。

此举解决了传统人工解析日志和测试 URL 效率低下的问题,实现了违规爬虫请求的自动化统计与可视化评估。

行业展望

网站现具备更精准的自动化工具来评估 robots.txt 规则执行情况。未来关键在于,这种透明化的衡量机制能否有效规范爬虫行为,或仅作为网站所有者记录现状的辅助手段。

【声明】内容源于网络
0
0
搜索引擎报
搜索引擎时报
内容 5299
粉丝 0
搜索引擎报 搜索引擎时报
总阅读3.7k
粉丝0
内容5.3k