数据是当今先进人工智能系统的核心，但其成本日益高昂——这使得只有最富有的科技公司才能负担得起。
去年，OpenAI研究员詹姆斯·贝特克（James Betker）撰写了一篇博文，探讨生成式人工智能模型的本质及其训练数据集。在文中，贝特克声称，训练数据——而非模型的设计、架构或其他任何特征——才是构建越来越复杂、能力越来越强的人工智能系统的关键。
“只要用相同的数据集训练足够长的时间，几乎所有模型都会收敛到同一点。”贝特克写道。
贝特克说得对吗？训练数据是否是决定模型功能（无论是回答问题、绘制人手还是生成逼真的城市景观）的最大因素？
这当然是合理的。
统计机器
生成式人工智能系统本质上是概率模型——即庞大的统计数据集合。它们基于海量示例进行猜测，判断哪些数据在何处放置最符合“逻辑”（例如，在句子“我去市场”中，“go”放在“to the market”之前）。因此，直觉上似乎模型拥有的示例越多，基于这些示例训练的模型性能就越好。
“看起来性能提升确实来自数据，”人工智能非营利组织艾伦人工智能研究所（Allen Institute for AI, AI2）的高级应用研究科学家凯尔·洛（Kyle Lo）表示，“至少在你拥有稳定的训练设置之后是这样。”
洛举了Meta的Llama 3为例，这是一个今年早些时候发布的文本生成模型，尽管其架构与AI2自家的OLMo模型非常相似，但性能却优于后者。Llama 3的训练数据量远大于OLMo，洛认为这解释了它在许多流行人工智能基准测试中的优势。
（在此我要指出，目前人工智能行业广泛使用的基准测试未必是衡量模型性能的最佳指标，但除了我们自身的定性测试之外，它们是我们仅有的少数可用衡量标准之一。）
这并不意味着在规模呈指数级增长的数据集上进行训练就是一条通往性能呈指数级提升的模型的必由之路。Lo指出，模型遵循“垃圾进，垃圾出”的原则，因此数据策展和质量至关重要，其重要性甚至可能超过单纯的体量。
他补充道：“有可能一个经过精心设计数据的小模型表现优于一个大模型。”例如，大模型Falcon 180B在LMSYS基准测试中排名第63位，而小得多的Llama 2 13B则排名第56位。
去年10月接受采访时，OpenAI研究员Gabriel Goh表示，更高质量的标注对DALL-E 3（OpenAI的文生图模型）相比其前身DALL-E 2有显著提升。他说：“我认为这是改进的主要来源。文本标注比[在DALL-E 2中]好得多——简直不可同日而语。”
许多AI模型，包括DALL-E 3和DALL-E 2，都是通过让人类标注员对数据进行标记来训练的，以便模型能够学习将这些标签与该数据的其他可观察特征关联起来。例如，向模型输入大量带有每种品种标注的猫图片，模型最终将学会将诸如短尾猫和短毛猫等术语与其独特的视觉特征联系起来。
不良行为
像洛（Lo）这样的专家担心，对大型高质量训练数据集的日益重视将使人工智能开发集中到少数拥有十亿美元预算、能够负担得起获取这些数据集的玩家手中。在合成数据方面的重大创新或基础架构的重大创新可能会打破现状，但这两者似乎短期内都难以实现。
“总体而言，管理可能对AI开发有用的内容的实体有动力将其材料锁定起来，”洛说。“随着数据访问渠道逐渐收紧，我们实际上是在为少数早期进入数据获取领域的玩家铺路，并抽梯撤板，让其他人无法获得数据以迎头赶上。”
事实上，在那些争夺更多训练数据的竞赛尚未导致秘密聚合受版权保护内容等不道德（甚至可能非法）行为的地区，它奖励的是拥有雄厚财力、能够花费巨资进行数据许可的科技巨头。
生成式AI模型主要使用来自公共网页（包括AI生成的内容）的图片、文本、音频、视频和其他数据——其中一些受版权保护——进行训练。世界各地的AI公司声称，合理使用原则使它们免受法律报复。许多权利持有人对此表示反对——但至少目前，他们对此无能为力。
有许多例子表明，生成式AI供应商通过可疑手段获取海量数据集以训练其模型。据报道，OpenAI未经YouTube或其创作者的许可，转录了超过一百万小时的YouTube视频，并将其输入其旗舰模型GPT-4。Google最近扩大了其服务条款，部分原因是为了能够利用公开的Google Docs、Google Maps上的餐厅评论以及其他在线材料来为其AI产品提供支持。据悉，Meta曾考虑冒着诉讼风险，在其模型训练中使用受知识产权保护的内容。
与此同时，大大小小的公司都在依赖第三世界国家的工人，他们每小时仅获得几美元的报酬为训练集创建标注。这些标注员中的一些人——受雇于像Scale AI这样的巨头初创企业——连续工作数天，完成那些让他们暴露于暴力和血腥画面的任务，且没有任何福利或未来工作的保障。
不断上涨的成本
换句话说，即使是更合规的数据交易也并未促进一个开放且公平的生成式AI生态系统。
OpenAI已花费数亿美元从新闻出版商、图库媒体库等授权内容，以训练其AI模型——这一预算远超大多数学术研究团体、非营利组织和初创企业。Meta甚至曾考虑收购出版商西蒙与舒斯特（Simon & Schuster），以获得电子书摘录的版权（最终，Simon & Schuster于2023年以16.2亿美元的价格出售给私募股权公司KKR）。
预计AI训练数据市场将从目前的约25亿美元增长到十年内接近300亿美元，数据经纪商和平台正急于收取高价——在某些情况下，甚至违背其用户群体的意愿。
图库媒体库Shutterstock已与AI供应商签订了金额在2500万至5000万美元之间的协议，而Reddit声称通过向Google和OpenAI等组织授权数据获得了数亿美元的收入。似乎很少有多年来有机积累大量数据的平台没有与生成式AI开发商签署协议——从Photobucket到Tumblr，再到问答网站Stack Overflow。
这是平台拥有的数据，可以出售——至少在你相信某些法律论点的情况下是这样。但在大多数情况下，用户并没有从中获得任何利润。而且这正在损害更广泛的AI研究社区。
“较小的参与者将无法负担这些数据许可费用，因此也无法开发或研究AI模型，”Lo说。“我担心这可能导致对AI开发实践的独立审查不足。”
独立努力
如果阴霾中有一丝阳光，那就是少数独立的、非营利性的努力，旨在创建任何人都可以使用的大型数据集来训练生成式AI模型。
EleutherAI是一个草根非营利研究组织，最初于2020年作为一个松散的Discord集体成立，目前正与多伦多大学、AI2以及独立研究人员合作，创建The Pile v2，这是一组数十亿条文本片段，主要来源于公共领域。
今年四月，AI初创公司Hugging Face发布了FineWeb，这是Common Crawl的一个过滤版本——Common Crawl是由同名非营利组织维护的专有数据集，由数十亿网页组成——Hugging Face声称它在许多基准测试中提升了模型性能。
一些发布开源训练数据集的努力，例如LAION组织的图像集，遇到了版权、数据隐私以及其他同样严重的伦理和法律挑战。但一些更为专注的数据策展人承诺会做得更好。例如，The Pile v2移除了其前身数据集The Pile中发现的问题版权材料。
问题在于，这些开放努力中的任何一个是否有望跟上大型科技公司的步伐。只要数据收集和策展仍然取决于资源，答案很可能是否定的——除非出现某种研究突破来拉平竞争差距。