Meta宣布发布拥有4050亿参数的Llama 3.1 405B模型，这是其迄今最大的开源模型。不过，它并非市场上参数最多的开源模型。
架构
该模型使用1.6万块Nvidia H100 GPU训练。据Meta称，Llama 3.1 405B性能可媲美OpenAI GPT-4o和Anthropic Claude 3.5 Sonnet等领先模型。
Llama 3.1 405B已上线AWS、Azure和Google Cloud等云平台。此外，美国用户可通过WhatsApp和Meta.ai体验该模型。
该模型仅支持文本，无法回答图像相关问题，但可处理PDF等文档；能解答编码及基础数学问题，并支持英语、德语、法语、意大利语、葡萄牙语、印地语、西班牙语和泰语八种语言。
训练数据
Meta训练Llama 3.1 405B使用了截至2024年的15万亿token数据集（约7500亿个单词）。除沿用Llama系列原有数据集外，公司还引入了合成数据。
相较前代，Llama 3.1 405B增加了非英语数据、“数学数据”以及代码与最新网络数据的混合训练内容。
Llama 3.1 405B上下文窗口达12.8万token（相当于一本50页书籍），较此前Llama模型有显著提升。
Llama 3.1 8B和Llama 3.1 70B
Meta同步推出两款更小模型：Llama 3.1 8B和Llama 3.1 70B，作为今年4月发布的Llama 3 8B和70B的更新版本。两款新模型均具备12.8万token上下文窗口，相比前代8000 token的限制实现了重大突破。
Llama 3.1模型的突出能力
所有Llama 3.1模型均可调用第三方工具、应用及API完成任务：利用Brave Search回答时事问题，通过Wolfram Alpha API处理数理查询，并借助Python解释器验证代码。Meta表示，这些模型能在一定程度上使用此前未见过的工具。
在与GPT-4、GPT-4o及Claude 3.5 Sonnet的对比中，Llama 3.1 405B整体表现优异：在MMLU基准上超越除GPT-4o外的其他模型；但在MMLU Pro基准上略逊于Claude 3.5 Sonnet。而在IFEval、GSMBK、ARC Challenge、Nexus及多语言小学数学基准（Multilingual MGSM）上，Llama 3.1 405B均优于上述三款竞品。
Meta数据显示，在人类评估中，Llama 3.1 405B与GPT-4、GPT-4o及Claude 3.5 Sonnet竞争激烈。其在代码执行和图形生成方面优于GPT-4o，但多语言能力总体较弱；在主题理解、编程和通用推理方面则落后于Claude 3.5 Sonnet。
因参数量庞大，Llama 3.1 405B需强大硬件支持，建议用户使用服务器节点部署。
较小规模的Llama 3.1 8B和70B适用于聊天机器人驱动及代码生成等通用场景。对比结果显示，Llama 3.1 8B表现超越Gemma 2 9B IT和Mistral 7B Instruct；Llama 3.1 70B则在除BFCL外的所有基准测试中成功超越GPT 3.5 Turbo。
为与OpenAI、Anthropic等AI巨头竞争，Meta坚持开源策略。目前，Llama系列模型下载量已超3亿次，衍生变体模型超过2万个。