据互联网基础设施提供商Cloudflare称，AI初创公司Perplexity正在爬取和抓取那些已明确表示不希望被爬取的网站内容。
周一，Cloudflare发布研究报告指出，该AI初创公司无视屏蔽指令并隐藏其爬取活动。这家网络基础设施巨头指责Perplexity在尝试抓取网页时“试图规避网站偏好”以掩盖身份。
AI产品依赖大量互联网数据，而此类未经授权的抓取行为由来已久。尽管网站试图通过Robots.txt文件告知搜索引擎和AI公司哪些页面可被索引，但效果不一。
据Cloudflare称，Perplexity似乎通过更改机器人“用户代理”及自治系统网络（ASN），有意绕过这些限制。
Cloudflare表示：“我们在数万个域名和每天数百万次请求中观察到了这一活动，并结合机器学习和网络信号对该爬虫进行了指纹识别。”
Perplexity发言人Jesse Dwyer将Cloudflare的博客文章斥为“销售宣传”，并向TechCrunch表示截图显示无内容被访问，且相关机器人“根本不是我们的”。
Cloudflare透露，在客户投诉Perplexity违规爬取后，该公司首次注意到此行为。尽管客户已在Robots文件中添加规则并专门屏蔽了Perplexity已知机器人，但测试确认Perplexity仍在绕过限制。
Cloudflare称：“当声明的爬虫被阻止时，Perplexity不仅使用声明的用户代理，还使用通用浏览器伪装成macOS上的Google Chrome。”该公司已将Perplexity机器人从验证列表中删除，并添加了新的阻断技术。
Cloudflare近期公开反对AI爬虫。上月宣布推出市场允许网站向AI抓取者收费；CEO Matthew Prince警告AI正破坏出版商商业模式。去年，Cloudflare还推出了防止机器人抓取网站训练AI的免费工具。
这并非Perplexity首次被指控未经授权抓取。去年包括《连线》在内的媒体指控其抄袭内容；几周后在Disrupt 2024会议上，Perplexity CEO Aravind Srinivas在被问及公司对抄袭的定义时无法立即作答。