周一，Cloudflare指控AI搜索引擎Perplexity在无视网站特定屏蔽方法的情况下偷偷抓取网站内容。但这并非单纯的AI爬虫失控案例，随着AI代理大量涌入互联网，这场争议引发了关于“代表用户访问网站的代理应被视为机器人还是人类”的深层讨论。
🔍 Cloudflare测试与Perplexity回应
Cloudflare通过设置全新域名及明确屏蔽Perplexity爬虫的robots.txt文件进行测试，发现当原生爬虫被阻时，Perplexity使用了伪装成macOS版Chrome的通用浏览器获取内容。Cloudflare CEO Matthew Prince对此表示强烈不满，呼吁对违规AI公司进行点名和屏蔽。
然而，Perplexity及其支持者提出了不同观点：
- 用户代理论： 支持者认为，若人类可直接访问公开内容，代表其执行任务的LLM在法律和技术类别上不应有别于普通浏览器。
- 第三方服务： Perplexity否认涉事机器人为自有资产，称其行为源于偶尔使用的第三方服务，并指责Cloudflare相关博客仅为营销宣传。
- 系统缺陷： Perplexity强调自动化爬取与用户驱动获取的区别关乎信息访问权，认为Cloudflare系统在区分合法AI助手与真实威胁方面存在根本不足。
⚖️ 行业对比与新标准Web Bot Auth
Cloudflare指出OpenAI遵循了最佳实践：尊重robots.txt指令，不逃避网络级阻止，且ChatGPT Agent正采用由IETF开发、Cloudflare支持的Web Bot Auth开放标准来签署HTTP请求，以加密方式识别AI代理身份。
📉 AI流量重塑互联网生态
当前机器人活动已首次超过人类在线活动。据Imperva报告，AI流量占比超50%，恶意机器人占37%。这一趋势带来双重影响：
- 传统共识瓦解： 过去网站可通过验证码等工具阻挡大多数机器人，仅与Googlebot等良性爬虫合作；如今LLM占据越来越多流量，Gartner预测到2026年搜索引擎流量将下降25%。
- 商业利益博弈： 尽管人类倾向于点击高价值交易链接，但若未来智能体全面接管预订、购物等任务，网站屏蔽它们可能损害自身商业利益。
💬 社区困境：开放访问 vs 流量保护
X平台上的辩论精准捕捉了这一两难境地：
“当我向Perplexity发出请求时，我希望它能代表我访问任何公开内容！”
“如果网站所有者不希望这样呢？他们只希望你直接访问主页以获取流量和广告收入，而不是让Perplexity将其夺走。”
正如一位观察者所言：“这就是我看不到‘代理式浏览’真正可行的原因——这比人们认为的要困难得多。大多数网站所有者最终只会选择屏蔽。”