实战LLaMA2-7B指令微调——从理论到代码全流程
经过前面十二节课程的理论积累,本节课程聚焦实战,手把手带你使用HuggingFace TRL对LLaMA2-7B进行指令微调。同时,我们把视线拉回大模型训练技术的全景图,系统梳理预训练、微调、指令微调、RLHF等概念之间的关系。
一、大模型训练技术全景总结
以模型训练阶段分类:Pre-Training vs Fine-Tuning
Pre-Training(预训练) 和 Fine-Tuning(微调) 是深度学习(尤其是NLP领域)训练大模型的两个关键步骤,共同构成一种策略:利用大量未标记数据学习通用知识,再通过少量标记数据将这些知识应用于特定任务。[pdf_5]
|
|
|
|
|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
以微调权重比例分类:FFT vs PEFT
Full Fine-Tuning(FFT) 和 Parameter-Efficient Fine-Tuning(PEFT) 都是调整预训练语言模型以适应特定任务的技术,主要区别在于调整参数的范围和方式。[pdf_5]
FFT(全量微调):
-
整个预训练模型的所有参数都会在下游任务数据上调整 -
每一层和每个权重都会根据特定任务训练数据更新 -
优点:通常能实现很好的性能 -
缺点:计算成本高,标注数据有限时存在过拟合风险
PEFT(参数高效微调):
-
只更新模型一小部分参数,保持大部分预训练参数固定不变 -
目的:在保持预训练模型大部分知识的同时,通过少量参数适应特定任务 -
主要实现方法包括: -
Adapter层:在模型特定层中插入小型可训练模块 -
Prompt Tuning:调整输入到模型中的"提示"token的嵌入 -
LoRA:低秩分解,在权重矩阵旁加可训练的低秩矩阵[pdf_5]
以模型训练方法分类:Fine-Tuning vs Instruction-Tuning
Fine-Tuning(微调):
-
在特定任务的较小数据集上继续训练 -
调整预训练参数以优化任务特定(Task-specific)性能 -
针对单一任务
Instruction-Tuning(指令微调):
-
目标是提高模型对自然语言指令的响应能力 -
通过在广泛任务类型上使用指令性示例训练模型 -
创建更通用的模型,能理解和执行各种指令[pdf_5]
以模型训练机制分类:SFT vs RLHF
SFT(有监督微调): 依赖于预定义的、清晰标注的训练数据,适用于任务输出相对明确的情况,常用于文本分类、情感分析、命名实体识别等任务。[pdf_5]
RLHF(基于人类反馈的强化学习): 使用强化学习方法,使其行为更符合人类偏好。特别适用于难以明确定义正确输出的生成式任务。[pdf_5]
★ChatGPT和LLaMA2-chat等模型结合了两者优势,充分利用监督学习的明确性和强化学习的灵活性。[pdf_5]
大模型训练技术全景图
大模型微调技术路线
├── Pre-Training(万亿级Token预训练)
├── Fine-Tuning(微调)
│ ├── FFT(全量微调)
│ └── PEFT(参数高效微调)
│ ├── Adapter层
│ ├── Prompt Tuning
│ ├── LoRA
│ └── ...
├── Instruction-Tuning(指令微调)
├── SFT(有监督微调)
└── RLHF(基于人类反馈的强化学习)
```[pdf_1]
---
## 二、指令微调格式:Alpaca Format
斯坦福大学的Alpaca模型定义了一套广泛使用的指令微调格式,已成为开源大模型微调的事实标准。[pdf_5]
### 非空输入字段时的模板
Below is an instruction that describes a task, paired with an input that provides further context.
Instruction:
{instruction}
Input:
{input}
Response:
### 空输入字段时的模板
Below is an instruction that describes a task.
Instruction:
{instruction}
Response:
### Python格式化代码示例
```python
def format_instruction(example):
if example["input"]:
return f"""Below is an instruction that describes a task, paired with an input that provides further context.
### Instruction:
{example['instruction']}
### Input:
{example['input']}
### Response:
{example['output']}"""
else:
return f"""Below is an instruction that describes a task.
### Instruction:
{example['instruction']}
### Response:
{example['output']}"""
```[pdf_5]
### 格式化后的实际样例
Below is an instruction that describes a task, paired with an input that provides further context.
Instruction:
Identify the odd one out from the group.
Input:
Carrot, Apple, Banana, Grape
Response:
Carrot
---
## 三、数据集:Databricks Dolly-15K
Databricks Dolly-15K是一个高质量的开源指令微调数据集,由数千名Databricks员工按照InstructGPT论文中概述的类别生成。[pdf_3][pdf_5]
### 数据集概况
| 属性 | 详情 |
|:----:|:------|
| 名称 | databricks/databricks-dolly-15k |
| 语言 | 英语(English) |
| 规模 | 15K(15,011行) |
| 分类 | 10K < n < 100K |
| 许可证 | **CC BY-SA 3.0**(可用于学术和商业目的) |
| 任务类型 | 8大类 |
### 8大行为类别
| 类别 | 说明 |
|:----:|:------|
| **头脑风暴(Brainstorming)** | 针对某一主题生成创意想法 |
| **分类(Classification)** | 对数据进行分类 |
| **封闭型问答(Closed QA)** | 基于给定上下文的问答 |
| **生成(Generation)** | 文本生成任务 |
| **信息提取(Information Extraction)** | 从文本中提取指定信息 |
| **开放型问答(Open QA)** | 不依赖上下文的自由问答 |
| **摘要(Summarization)** | 文本摘要 |
| **改写(Rewriting)** | 文本改写/润色 |[pdf_3][pdf_5]
### 数据列结构
| 列名 | 类型 | 说明 |
|:----:|:----:|:------|
| **instruction** | string | 指令文本 |
| **context** | string | 上下文(如适用) |
| **response** | string | 人工标注的回复 |
| **category** | string | 行为类别 |[pdf_3]
---
## 四、训练工具:HuggingFace TRL
HuggingFace TRL(Transformer Reinforcement Learning)是专为大模型强化学习训练设计的库,以三行代码的简洁API闻名,是当前最流行的RLHF训练框架。[pdf_3]
### TRL三行核心代码
```python
from trl import SFTTrainer, RewardTrainer, PPOTrainer
# Step 1: SFT训练——在有标签的数据集上监督微调
trainer = SFTTrainer(
model=model,
args=training_args,
train_dataset=dataset,
dataset_text_field="text"
)
trainer.train()
# Step 2: 奖励模型训练——训练偏好模型,给生成结果评分
trainer = RewardTrainer(
model=model,
tokenizer=tokenizer,
train_dataset=dataset
)
trainer.train()
# Step 3: PPO优化——使用奖励模型的评分,用PPO算法优化
trainer = PPOTrainer(config=config, model=model,
tokenizer=tokenizer, dataset=dataset)
for query in dataloader:
response = model.generate(query)
reward = reward_model(response)
trainer.step(query, response, reward)
```[pdf_3]
### TRL数据流
SFTTrainer → 在有标签数据集上监督微调 ↓ RewardTrainer → 训练偏好模型为生成结果排名 ↓ PPOTrainer → 使用奖励模型和PPO算法进一步优化SFT模型
---
## 五、上手训练LLaMA2-7B模型
### 获取模型权重
LLaMA2模型权重需要通过Meta官方渠道获取授权:[pdf_11]
```bash
# 从GitHub仓库下载
# 访问 https://github.com/facebookresearch/llama
# 或通过HuggingFace直接使用
HuggingFace上LLaMA2-7B的模型卡:
模型ID: NousResearch/Llama-2-7b-hf
或: meta-llama/Llama-2-7b-hf(需授权)
使用TRL进行指令微调
from transformers import AutoModelForCausalLM, AutoTokenizer
from datasets import load_dataset
from trl import SFTTrainer, TrainingArguments
# 1. 加载模型和分词器
model = AutoModelForCausalLM.from_pretrained("NousResearch/Llama-2-7b-hf")
tokenizer = AutoTokenizer.from_pretrained("NousResearch/Llama-2-7b-hf")
tokenizer.pad_token = tokenizer.eos_token
# 2. 加载数据集(Dolly-15K)
dataset = load_dataset("databricks/databricks-dolly-15k", split="train")
# 3. 配置训练参数
training_args = TrainingArguments(
output_dir="./llama2-7b-dolly",
per_device_train_batch_size=4,
gradient_accumulation_steps=4,
learning_rate=2e-4,
num_train_epochs=3,
logging_steps=10,
save_strategy="epoch",
fp16=True,
optim="adamw_torch",
)
# 4. 初始化SFTTrainer(自带Alpaca格式格式化)
trainer = SFTTrainer(
model=model,
args=training_args,
train_dataset=dataset,
dataset_text_field="instruction",
max_seq_length=512,
formatting_func=format_dolly_to_alpaca, # 转为Alpaca格式
)
# 5. 开始训练
trainer.train()
# 6. 保存模型
trainer.save_model("./llama2-7b-dolly-final")
使用训练后的模型生成
from transformers import pipeline
# 加载微调后的模型
pipe = pipeline(
"text-generation",
model="./llama2-7b-dolly-final",
tokenizer=tokenizer,
)
# 按Alpaca格式构造输入
prompt = """Below is an instruction that describes a task.
### Instruction:
What is an alpaca? How is it different from a llama?
### Response:
"""
# 生成回答
result = pipe(prompt, max_length=200)
print(result[0]['generated_text'])
```[pdf_11]
---
## 六、再谈中文指令微调方法
中文指令微调相比英文面临独特挑战:中文语料多样性大、方言表达多、缺乏高质标注数据、评测标准不统一等。[pdf_5]
### 中文指令微调的方法
针对中文数据的指令微调方法包括:
- 使用自指令(Self-Instruct)方法生成中文训练数据
- 利用已有高质量英文数据集进行翻译
- 从各垂直领域(百科、金融、考试、豆瓣等)收集中文指令数据
### 不同来源中文数据的评估结果
| 数据来源 | Open QA | Brainstorming | Classification | Generation | Summarization | Code |
|:--------:|:-------:|:-------------:|:--------------:|:----------:|:-------------:|:----:|
| **Wiki(百科)** | 67.6 | 21.5 | 60.4 | 30.8 | 31.5 | 37.2 |
| **Finance(金融)** | 65.7 | 30.0 | 57.3 | 36.4 | — | 27.5 |
| **Exam(考试)** | **74.3** | **42.0** | **70.9** | **54.1** | **56.2** | **54.9** |
| **Douban(豆瓣)** | 64.5 | 23.3 | 64.4 | 38.6 | 34.2 | 40.8 |
**关键发现:** 考试类数据(Exam)在多数任务上表现最优,说明**结构化、高质量的数据源对指令微调效果至关重要**。Quality is All You Need for Chinese Instruction Fine-tuning![pdf_5]
---
## 七、模型评估与安全性测试
### 弱智吧(Ruozhiba)数据样例
课程中使用弱智吧数据对模型进行了安全性评估与测试,通过在不同数据源(百科、金融、考试、豆瓣等)上评估模型在各类任务中的表现,分析模型性能的平均值。[pdf_5]
### LLaMA衍生模型的HuggingFace热度
截至2023年底,HuggingFace上与alpaca相关的模型已超过**2,154个**,与vicuna相关的模型超过**1,071个**,充分展现了LLaMA衍生模型生态的繁荣程度。[pdf_11]
---
## 八、LLaMA模型继承的多样化方式
从以下全景图可以看出,LLaMA模型的衍生方式呈现多样化的继承路径:[pdf_5]
LLaMA
/ | \
继续预训练 参数高效微调 全参数微调
| | |
+中文数据 指令微调 +中文数据
| | |
Open-Chinese-LLaMA Alpaca Chinese-LLaMA | |
Linly-Chinese Vicuna ⋯ Yulan-Chat Guanaco ...
指令微调只是LLaMA衍生生态中的一条路径,此外还有继续预训练(融入中文数据)、全参数微调等多种方式,每种方式都有其适用场景和衍生模型。[pdf_5]
---
## 总结
1. **大模型训练技术体系全景**:Pre-Training → Fine-Tuning(FFT/PEFT)→ Instruction-Tuning → SFT → RLHF,层层递进
2. **Alpaca Format是指令微调的事实标准**:两个模板分别针对有/无输入字段的场景,开源社区广泛采用
3. **Databricks Dolly-15K**:15K高质量人类标注指令数据,包含8大任务类型,CC BY-SA 3.0许可证自由使用
4. **HuggingFace TRL**:三行代码实现RLHF全流程(SFTTrainer → RewardTrainer → PPOTrainer)
5. **中文指令微调要点**:数据质量比数量更重要——考试类数据在多数任务上表现最优
6. **中文LLaMA生态繁荣**:通过继续预训练、指令微调、RLHF等多种路径,衍生出大量中文模型
---
> **下节预告**:使用Transformers和PEFT库实战微调LLaMA2——完整走通LLaMA2-7B指令微调全流程!
---
*本文内容整理自《AI大模型微调实战营》第十三节课程,由彭靖田老师(Google Developer Expert)主讲。*

