1 月 13 日，英伟达宣布推出名为 Nemotron-CC 的大型英文 AI 训练数据库，总共有 6.3 万亿个 Token，其中 1.9 万亿为合成数据。该数据库可帮助学术界和企业界进一步推动大语言模型的训练。 目前，AI 模型性能主要取决于训练数据的质量。英伟达表示 Nemotron-CC 解决了现有数据库规模和质量上的局限性，提供大量高质量数据，适合训练大型语言模型。 Nemotron-CC 基于 Common Crawl 网站数据，并通过严格处理流程生成高质量子集 Nemotron-CC-HQ。 与当前领先的公开英文训练数据库 DCLM 相比，使用 Nemotron-CC-HQ 训练的模型在 MMLU 基准测试中高 5.6 分。此外，使用 Nemotron-CC 训练的 80 亿参数模型在多项基准测试中的成绩优于基于 Llama 3 训练数据集的 Llama 3.1 8B 模型。