据周二在 Meta 持续进行的 AI 版权诉讼 Kadrey v. Meta 中由法院解封的内部消息显示，Meta 的 AI 高管和研究人员在开发 Llama 3 时，一直痴迷于击败 OpenAI 的 GPT-4 模型。
“老实说……我们的目标必须是 GPT-4。”Meta 生成式 AI 副总裁 Ahmad Al-Dahle 在 2023 年 10 月发给 Meta 研究员 Hugo Touvron 的一条消息中写道，“我们即将拥有 64k 块 GPU！我们需要学会如何构建前沿模型并赢得这场竞赛。”
尽管 Meta 发布开源 AI 模型，但该公司的 AI 领导者们更加专注于击败那些通常不公开模型权重、而是通过 API 限制访问的竞争对手，如 Anthropic 和 OpenAI。Meta 的高管和研究员将 Anthropic 的 Claude 和 OpenAI 的 GPT-4 视为需要努力追赶的黄金标准。
法国 AI 初创公司 Mistral 是 Meta 最大的开源竞争对手之一，在内部消息中被多次提及，但语气却充满轻蔑。“Mistral 对我们来说不过是九牛一毛。”Al-Dahle 在一条消息中说，“我们应该能做得更好。”他后来补充道。
如今，科技公司正竞相推出尖端 AI 模型以压倒彼此，但这些法庭文件揭示了 Meta 的 AI 领导者们究竟有多么竞争——并且似乎仍然如此。在几次信息交流中，Meta 的 AI 负责人谈到他们在获取训练 Llama 所需数据方面“非常积极”；其中一次，一位高管甚至在给同事的信息中表示，“Llama 3 是我唯一关心的事情”。
本案检察官指控，Meta 高管在疯狂赶工推出 AI 模型的过程中，偶尔会走捷径，在此过程中使用了受版权保护的书籍进行训练。Touvron 在一条信息中指出，用于 Llama 2 的数据集组合“很糟糕”，并讨论了 Meta 如何使用更好的数据源组合来改进 Llama 3。随后，Touvron 和 Al-Dahle 讨论了清除障碍以使用包含受版权保护作品的 LibGen 数据集，该数据集来自 Cengage Learning、Macmillan Learning、McGraw Hill 和 Pearson Education。“我们里面有合适的数据集吗？”Al-Dahle 问道，“有没有什么你想用却因为某些愚蠢原因而无法使用的？”
Meta CEO Mark Zuckerberg 此前曾表示，他正试图缩小 Llama 的 AI 模型与来自 OpenAI、Google 等公司的闭源模型之间的性能差距。这些内部消息揭示了公司内部为此所承受的巨大压力。Zuckerberg 在 2024 年 7 月的一封信件中表示：“今年，Llama 3 具有与最先进模型相竞争的实力，并在某些领域处于领先地位。从明年开始，我们预计未来的 Llama 模型将成为行业中最先进的。”
当 Meta 最终在 2024 年 4 月发布 Llama 3 时，这一开源 AI 模型与 Google、OpenAI 和 Anthropic 的领先闭源模型具有竞争力，并超越了 Mistral 的开源选项。然而，Meta 用于训练其模型的数据——据报道，尽管存在版权问题，但 Zuckerberg 已批准使用这些数据——正在几起 ongoing 诉讼中受到审查。