Meta AI 大模型 LLaMA——从LLaMA1到LLaMA3的开源里程碑
在ChatGPT掀起大模型浪潮后，Meta AI的LLaMA系列模型横空出世，成为开源大模型世界中最重要的基石。从LLaMA1的"少即是多"到LLaMA2的"安全对齐"，再到LLaMA3的"全面爆发"，LLaMA家族走出一条独特的开源之路。今天我们就来完整拆解LLaMA这三代模型的技术演进！
一、LLaMA1：用"小模型"碾压大模型（Meta FAIR, 2023.02）
LLaMA1（Large Language Model Meta AI）系列包含 7B、13B、33B、65B 四个参数规模的模型，其核心理念是：仅使用公开可用数据集，即可训练出达到最先进水平的模型。[pdf_11]
与GPT-3对比的惊艳表现
|
|
|
|
|---|---|---|
|
|
13B |
|
|
|
GPT-3的1/10 |
|
|
|
在大多数基准上超越GPT-3 |
|
|
|
单块GPU即可运行 |
|
LLaMA-65B 与当时最佳模型（Chinchilla-70B和PaLM-540B）具有竞争力。[pdf_11]
训练数据构成与配比
LLaMA1在万亿级Token的公开数据集上预训练，全部数据均可从公开渠道获取：[pdf_11]
|
|
|
|
|
|
|---|---|---|---|---|
| CommonCrawl | 67.0% |
|
|
|
| C4 |
|
|
|
|
| Github |
|
|
|
|
| Wikipedia |
|
2.45 |
|
|
| Books |
|
|
|
|
| ArXiv |
|
|
|
|
| StackExchange |
|
|
|
|
关键发现： 对7B模型而言，性能在1T tokens后仍持续提升，这与Hoffmann等人（2022）推荐的"10B模型仅在200B tokens上训练"的观点不同，说明更大规模的训练数据对较小模型同样有效。[pdf_11]
二、LLaMA1模型架构核心特性
LLaMA1基于Transformer架构，融合了多项后续改进，与原始Transformer相比有四大核心区别：[pdf_11]
|
|
|
|
|---|---|---|
| 归一化 | Pre RMSNorm |
|
| 激活函数 | SwiGLU |
|
| 位置编码 | RoPE
|
|
| 注意力 |
|
|
多模型架构配置对比
|
|
|
|
|
|
|
|
|
|---|---|---|---|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
大模型架构横向对比
|
|
|
|
|
|
|
|
|
|---|---|---|---|---|---|---|---|
| GPT-3 |
|
|
|
|
|
|
|
| PaLM |
|
|
|
|
|
|
|
| LLaMA |
|
65B | Pre RMSNorm | RoPE | SwiGLU | 80 | 8192 |
| Chinchilla |
|
|
|
|
|
|
|
| BLOOM |
|
|
|
|
|
|
|
| GLM-130B |
|
|
|
|
|
|
|
有趣发现： LLaMA-65B架构参数与Chinchilla-70B几乎相同（维度、头数、层数完全一致），说明模型架构设计存在一定的收敛趋势。[pdf_11]
三、LLaMA1衍生开源模型生态
LLaMA1发布后，开源社区基于其模型权重产生了一个庞大而繁荣的衍生模型生态：[pdf_11]
LLaMA生态全景图
┌── Alpaca（斯坦福，52K自指令数据，$600）
│── Vicuna（伯克利等，70K共享对话，ChatGPT 90%）
│── Guanaco（QLoRA，ChatGPT 99.3%，单卡24h）
LLaMA 7B/13B/33B/65B ──┼── Koala（伯克利，对话+任务数据）
│── 中文系列：Open-Chinese-LLaMA、Linly、Yulan-Chat
│── 垂直领域：Lawyer（法律）、BenTsao（医疗）
│── 多模态：LLaVA、MiniGPT-4、OpenFlamingo
└── 增强版：BELLE、Baize、Panda、Goat...
三大明星衍生模型
|
|
|
|
|
|
|---|---|---|---|---|
| Alpaca 7B |
|
|
|
|
| Vicuna 13B |
|
|
|
|
| Guanaco |
|
|
ChatGPT 99.3%性能
|
|
Alpaca Format指令微调格式：
Below is an instruction that describes a task, paired with an input that provides further context.
### Instruction:
{instruction}
### Input:
{input}
### Response:
```[pdf_5]
### 中文LLaMA生态
| 模型 | 说明 |
|:----:|:------|
| **Open-Chinese-LLaMA** | 在LLaMA上增量预训练中文数据 |
| **Linly-Chinese-LLaMA** | 中文指令微调版本 |
| **Yulan-Chat** | RLHF对齐 |
| **BELLE** | 基于LLaMA的中文开源模型 |
| **BiLLa** | 双语LLaMA |[pdf_5]
---
## 四、LLaMA2：开源大模型的新标杆（Meta AI, 2023.07）
2023年7月，Meta发布了LLaMA2，包含 **7B、13B、70B** 三个规模，并提供基座模型和Chat微调版本。[pdf_11]
### LLaMA1 vs LLaMA2: 关键升级对比
| 对比维度 | LLaMA1 | LLaMA2 |
|:--------:|:------:|:-------:|
| 模型规模 | 7B/13B/33B/65B | **7B/13B/70B**（用70B替换65B和33B） |
| 上下文长度 | 2K（2048 tokens） | **4K（4096 tokens）** |
| 训练数据量 | 1.0T~1.4T tokens | **2万亿（2.0T）tokens** |
| 注意力机制 | Multi-Head Attention | **GQA（分组查询注意力）** |
| 微调版本 | 仅基座模型 | **基座 + Chat（RLHF对齐）** |
| 许可证 | 仅研究用途 | **允许商业使用** |
**GQA（Grouped Query Attention）**：通过让多个查询头共享一个键值头，显著降低推理时的KV缓存内存开销，是提升推理效率的关键改进。**LLaMA2-70B中已使用GQA**。[pdf_11]
### 训练过程
LLaMA2基座模型在**2万亿tokens**上预训练后，使用**100万人类标记数据**进行RLHF训练得到LLaMA2-Chat模型。[pdf_11]
**LLaMA2 RLHF架构：**
HUMAN FEEDBACK → Safety Reward Model ──→ Rejection Sampling → Helpful Reward Model ──→ Proximal Policy Optimization ↓ Llama-2-chat（对齐模型）
LLaMA2同时训练**Safety（安全）**和**Helpful（有用）**两个奖励模型，而不是像ChatGPT那样在生成结果后再训练Moderation模型进行事后过滤。这使得LLaMA2在安全性和有用性上实现了更好的平衡。[pdf_11]
### 安全性对比
在人类评估中，LLaMA2-chat各规模模型在安全性上均优于MPT、Vicuna、Falcon、PaLM Bison等模型，并接近ChatGPT水平。[pdf_11]
---
## 五、LLaMA3：开源大模型全面爆发（Meta AI, 2024）
2024年4月，Meta发布了LLaMA3系列，包含 **8B和70B** 两个版本（并预告了400B+版本），将开源大模型的性能推向新的高度。
### LLaMA3 发布版本
| 模型 | 参数量 | 上下文 | GQA | 训练数据 |
|:----:|:------:|:------:|:---:|:---------|
| **LLaMA 3 8B** | 8B | **8K** | ✓ | **15T+ tokens** |
| **LLaMA 3 70B** | 70B | **8K** | ✓ | **15T+ tokens** |
| **LLaMA 3 400B+** | 400B+ | — | ✓ | —（仍在训练中） |
### LLaMA三代训练数据量与上下文长度演进
训练数据量：1.0T → 2.0T → 15T+ 上下文长度：2K → 4K → 8K
**核心升级：**
- **训练数据量**从LLaMA1的1.4T tokens → LLaMA2的2T tokens → LLaMA3的**15T+ tokens**，数据量呈现**10倍级的跃升**
- **上下文长度**从2K → 4K → **8K**，并支持更长窗口
- **分词器**：LLaMA3采用更高效的分词器，词汇量从32K扩展至**128K**，大幅提升编码效率
- **全系列标配GQA**：即使是8B版本也使用了分组查询注意力机制
---
## 六、LLaMA在HuggingFace上的搜索热度
截至2023年底，HuggingFace上"alpaca"相关模型超过**2,154个**，"vicuna"相关模型超过**1,071个**，展现了LLaMA衍生模型的强大生命力。[pdf_11]
---
## 七、SFT vs RLHF：LLaMA的成功组合
**Supervised Fine-Tuning（SFT）**：在标注数据上最小化预测与标签差异，训练稳定、收敛快，适用于输出相对明确的任务。[pdf_5]
**RLHF（基于人类反馈的强化学习）**：通过人类反馈学习，更灵活，能处理开放性问题，优化输出符合人类偏好。[pdf_5]
**LLaMA2-Chat的关键实践：** ChatGPT和LLaMA2-chat等模型**结合了SFT和RLHF两者的优势**，以充分利用监督学习的明确性和强化学习的灵活性。[pdf_5]
---
## 总结
1. **LLaMA1开创了"小模型大能力"先河**：13B超越GPT-3 175B，65B媲美PaLM-540B，全部使用公开数据
2. **LLaMA2是开源大模型的标杆**：2T tokens训练，4096上下文，GQA注意力，RLHF安全对齐，允许商业使用
3. **LLaMA系列衍生生态奠定开源基础**：Alpaca（$600）、Vicuna（ChatGPT 90%）、Guanaco（ChatGPT 99.3%）等模型极大推动了开源社区的繁荣发展
4. **LLaMA三代演进路径清晰**：数据量1T→2T→15T+，上下文2K→4K→8K，结构从MHA→GQA，开源许可从研究→商用
5. **LLaMA每一个模型架构都有其特定意义**：LLaMA1验证了公开数据+SwiGLU+RMSNorm+RoPE的有效性，LLaMA2加入了GQA和RLHF安全对齐，LLaMA3则以15T+ tokens和128K分词器将开源模型推上新高度
---
> **温馨提示**：获取LLaMA2模型权重需通过Meta官方授权，访问 [llama.meta.com](https://llama.meta.com) 申请，或通过GitHub上facebookresearch/llama仓库的download.sh脚本下载。
---
*本文内容整理自《AI大模型微调实战营》第十二节课程，由彭靖田老师（Google Developer Expert）主讲。*