维基媒体基金会是维基百科及十余个众包知识项目的umbrella organization。该组织周三表示，自2024年1月以来，Wikimedia Commons多媒体内容下载带宽消耗激增50%。
该组织在周二的一篇博客文章中指出，流量激增并非源于人类用户日益增长的知识需求，而是来自旨在训练AI模型的自动化、数据饥渴型网络爬虫。
文章写道：“我们的基础设施旨在应对高关注度事件中人类用户带来的突发流量高峰，但爬虫机器人产生的流量规模前所未有，并带来了日益增长的风险和成本。”
Wikimedia Commons是一个免费访问的图像、视频和音频文件存储库，其内容采用开放许可或属于公共领域。
深入分析显示，几乎三分之二（65%）最“昂贵”的流量——即资源密集型最高的流量——来自机器人，而这些机器人仅占整体页面浏览量的35%。Wikimedia指出，频繁访问的内容更靠近用户缓存，而爬虫通常寻找的较少访问内容则存储在更远的“核心数据中心”，从那里提供服务的成本更高。
Wikimedia表示：“虽然人类读者往往专注于特定且相似的主题，但爬虫机器人倾向于‘批量读取’大量页面，并访问那些不太受欢迎的页面。这意味着这类请求更有可能被转发到核心数据中心，从而在资源消耗方面变得非常昂贵。”
简而言之，维基媒体基金会的站点可靠性团队不得不花费大量时间和资源来阻止爬虫，以避免对普通用户造成干扰，且这尚未计入基金会面临的云成本。
事实上，这代表了一种正在迅速增长的趋势，威胁着开放互联网本身的生存。上个月，软件工程师兼开源倡导者Drew DeVault抱怨称，AI爬虫无视旨在阻挡自动流量的“robots.txt”文件；上周，“务实工程师”Gergely Orosz也指出，Meta等公司的AI爬虫推高了其自身项目的带宽需求。
尤其是开源基础设施正成为众矢之的，开发者们正以“机智与复仇”作为反击手段。一些科技公司也在采取行动为解决这一问题贡献力量，例如Cloudflare最近推出了AI Labyrinth工具，利用AI生成的内容来减缓爬虫速度。
然而，这更像是一场猫鼠游戏，最终可能迫使许多出版商躲在登录界面和付费墙后面以求自保，从而损害了当今所有互联网用户的利益。