一个公开的秘密是，用于训练AI模型的数据集存在严重缺陷。
图像语料库往往以美国和西方为中心，部分原因是数据集编译时，西方图像在互联网上占据主导地位。正如Allen Institute for AI最近的一项研究所强调的那样，用于训练大型语言模型（如Meta的Llama 2）的数据包含有害语言和偏见。
这些缺陷会被模型以有害的方式放大。如今，OpenAI表示希望通过与外部机构合作创建新的、改进的数据集来应对这些问题。
推出“数据合作伙伴关系”计划
OpenAI今日宣布推出“数据合作伙伴关系”（Data Partnerships），旨在与第三方组织合作，为AI模型训练构建公共和私有数据集。在一份博客文章中，OpenAI表示该计划旨在“让更多组织帮助引导AI的未来”，并“从更有用的模型中受益”。
OpenAI写道：“为了最终制造出对全人类安全且有益的人工智能，我们希望AI模型能够深入理解所有学科、行业、文化和语言，这需要尽可能广泛的数据集作为训练基础。”“纳入您的内容可以通过增加模型对您所在领域的理解，使AI模型对您更有帮助。”
数据集构建方向与数字化处理
作为数据合作伙伴计划的一部分，OpenAI将收集反映人类社会且在当今互联网上不易获取的大规模数据集。虽然该公司计划涵盖图像、音频和视频等多种模态，但特别寻求表达“人类意图”的数据（例如长篇写作或对话），这些数据需涵盖不同的语言、主题和格式。
如有必要，OpenAI将使用光学字符识别和自动语音识别工具的组合，并在必要时移除敏感或个人信息，与组织合作将训练数据数字化。
开源与私有数据集并举
起初，OpenAI旨在创建两类数据集：一类是供任何人用于AI模型训练的开源公共数据集；另一类是用于训练专有AI模型的私有数据集。私有数据集旨在供那些希望保持数据私密但希望OpenAI模型更好地理解其所在领域的组织使用。
迄今为止，OpenAI已与冰岛政府及Miðeind ehf合作以提高GPT-4的冰岛语能力，并与Free Law Project合作以提高其模型对法律文件的理解能力。
OpenAI表示：“总体而言，我们正在寻找希望帮助我们教会AI理解我们世界的合作伙伴，以便让AI对每个人都能发挥最大效用。”
挑战与商业动机并存
OpenAI能否超越此前众多构建数据集的努力尚不确定，减少数据集偏见仍是困扰全球专家的难题。至少，该公司应对这一过程及创建数据集过程中不可避免遇到的挑战保持透明。
尽管博客文章措辞宏大，但此举似乎存在明确的商业动机，即通过牺牲其他公司的利益来提升OpenAI模型性能，且几乎未向数据所有者提供补偿。这虽在OpenAI权利范围内，但考虑到创作者们已发出公开信和诉讼，指控其在未获许可或未支付报酬的情况下使用作品训练模型，这种做法显得有些缺乏敏感度。