
Meta发布Llama 3大语言模型,性能全面升级
Meta在博客中正式介绍了新一代大语言模型(LLM)Llama 3。该模型提供80亿参数和700亿参数两种权重版本,即将登陆AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM及Snowflake等主流平台。
尽管目前仅支持文本响应,但相比前代,Llama 3在多项核心能力上实现显著提升:回答更具多样性,推理能力更出色,能理解更多指令并编写出更优质的代码。
基准测试表现亮眼,超越同级竞品
Meta公布的对比数据显示,Llama 3两个版本在特定基准测试中均优于规模相近的Google Gemma/Gemini、Mistral 7B及Anthropic Claude 3等模型。
在衡量通用知识的MMLU测试中,Llama 3 8B显著优于Gemma 7B和Mistral 7B;Llama 3 70B也以微弱优势超越Gemini Pro 1.5。不过,Gemini Pro 1.5在GPQA和MATH标准上仍保持领先。值得注意的是,文中未提及OpenAI旗舰模型GPT-4。
对此,《纽约时报》Kevin Roose曾指出,由于训练数据可能包含基准测试答案,单纯依靠AI基准测试不足以客观比较模型性能。
人类评估验证真实场景能力
据Meta信息,在人类评估者生成的输出结果中,包括GPT-3.5在内的其他模型表现均不及Llama 3。为确保评估客观性,Meta专门构建了模拟真实世界场景的新数据集,涵盖推荐请求、摘要生成和创意写作等用例,且开发团队无法访问该评估数据,避免了对模型性能的干扰。
多模态版本研发中,AI将集成至全系应用
Meta正在研发参数量超4000亿的多模态版Llama 3,目前处于训练阶段。业界认为,更大参数版本相比小版本能学习更复杂的模式。
马克·扎克伯格宣布,Meta AI将集成到WhatsApp、Instagram、Facebook和Messenger顶部的搜索框中。此前已有消息称WhatsApp将为搜索栏添加AI聊天机器人功能。此外,Meta还推出了meta.ai网站,方便用户在网页端直接使用。

