AI研究机构EleutherAI发布了一个据称是最大规模的授权和开放域文本集合，用于训练AI模型。
该数据集名为Common Pile v0.1，耗时约两年完成，由AI初创公司Poolside、Hugging Face等与多家学术机构合作打造。Common Pile v0.1容量达8TB，被用于训练EleutherAI推出的两款新AI模型Comma v0.1-1T和Comma v0.1-2T。EleutherAI声称，这两款模型的性能与使用未授权版权数据训练的模型相当。
包括OpenAI在内的AI公司正深陷诉讼之中，这些诉讼涉及它们的AI训练实践，即通过抓取网络——包括书籍和研究期刊等受版权保护的材料——来构建模型训练数据集。虽然部分AI公司与某些内容提供商达成了许可协议，但大多数公司坚持认为，美国法律中的“合理使用”原则使它们在未经许可的情况下使用受版权保护的作品进行训练时免于承担责任。
EleutherAI认为，这些诉讼已“大幅降低”了AI公司的透明度，而该公司表示这损害了整个AI研究领域，使得人们更难理解模型的运作方式及其潜在缺陷。
“[版权]诉讼并未实质性地改变[模型]训练中的数据获取做法，但它们大幅降低了公司的透明度，”EleutherAI执行董事Stella Biderman在一份博客文章中写道。她在周五早些时候于Hugging Face上发表的文章中表示：“我们与一些公司交流过的研究人员也明确指出，诉讼是他们无法在高度以数据为中心的研究领域发布研究成果的原因。”
Common Pile v0.1可从Hugging Face的AI开发平台和GitHub下载，是在咨询法律专家后创建的，其数据来源包括美国国会图书馆和互联网档案馆数字化处理的30万本公共领域书籍。EleutherAI还使用了OpenAI的开源语音转文本模型Whisper来转录音频内容。
EleutherAI声称，Comma v0.1-1T和Comma v0.1-2T证明了Common Pile v0.1经过精心策展，足以让开发者构建出具有竞争力的专有替代方案。据EleutherAI称，这两款模型均为70亿参数规模，仅使用了Common Pile v0.1的一小部分进行训练，在编码、图像理解和数学基准测试中与Meta的首个Llama AI模型相媲美。
参数（有时也称为权重）是AI模型的内部组件，用于指导其行为和回答。
“总的来说，我们认为‘未授权文本驱动性能’这一普遍观点缺乏依据，”Biderman在她的文章中写道。“随着可访问的开放授权和公共领域数据的增加，我们预计基于开放授权内容训练的模型质量将得到提升。”
Common Pile v0.1似乎部分是为了纠正EleutherAI过去的错误。多年前，该公司发布了The Pile，这是一个包含受版权保护材料的开源训练文本集合。由于使用The Pile来训练模型，一些AI公司受到了批评并面临法律压力。
EleutherAI承诺今后将与其研究和基础设施合作伙伴合作，更频繁地发布开放数据集。
太平洋时间上午9:48更新：Biderman澄清在X上的一篇帖子中，Biderman澄清称，EleutherAI参与了这些数据集和模型的发布，但其开发涉及许多合作伙伴，包括多伦多大学，后者在研究中发挥了主导作用。