针对Cloudflare指控其无视robots.txt协议并进行隐蔽爬取,Perplexity发布正式回应。Perplexity辩称,Cloudflare错误地将AI助手等同于传统网络爬虫,强调其服务属于用户发起的按需获取行为,不应受到相同限制。
AI助手按需获取内容,非传统索引模式
Perplexity指出,其系统不会预先存储或索引网页内容,仅在响应用户具体查询时实时检索并总结相关信息。例如,当用户询问餐厅评论时,系统才会按需调取对应页面。这种机制与传统爬虫系统性、无差别地索引海量内容存在本质区别。
该公司将这一模式与Google的用户触发式获取功能进行类比。尽管两者应用场景不同,但均属于基于用户意图绕过robots.txt限制的合法获取方式。Perplexity强调,其AI助手是用户请求的延伸,而非自主运行的抓取机器人,且获取的内容仅用于即时回答,不会被保留或用于模型训练。
质疑Cloudflare基础设施识别能力
Perplexity批评Cloudflare的基础设施缺乏对恶意抓取与合法用户流量的精准区分能力。公司认为,当前机器人管理策略过于粗放,可能导致负责任的AI服务被误判为有害机器人,进而造成合法流量被错误拦截。
Perplexity表示,Cloudflare对其技术原理存在误解,正是基于这种认知偏差才做出了拦截决定。实际上,其流量完全源于真实用户需求,属于合规的网络访问行为。

