AI训练数据成本高昂，通常只有资金雄厚的科技公司能够负担。为此，哈佛大学计划发布一个包含约100万本公共领域书籍的数据集，涵盖狄更斯、但丁和莎士比亚等作者的作品，涉及多种体裁与语言。这些作品因年代久远已不再受版权保护。
该数据集尚未正式推出，具体发布时间及方式尚不明确。不过，由于它源自谷歌长期进行的图书扫描项目Google Books，谷歌将参与“广泛分发这一宝藏”。
哈佛大学早在今年三月就首次透露了Institutional Data Initiative（IDI）计划，旨在打造“用于AI的合法数据可信渠道”。然而，直到此次正式推出前，相关消息寥寥无几。本次发布也确认了微软和OpenAI为该倡议提供了资金支持。
IDI执行主任Greg Leppert表示，该数据集旨在通过向各类机构——从研究实验室到AI初创公司——开放如此庞大的资源，为所有希望训练大型语言模型（LLM）的主体“实现公平竞争”。