近年来，大语言模型（LLMs）快速发展，越来越多开发者和中小企业希望利用其强大能力。然而，从零训练百亿参数模型成本高昂、技术门槛高，难以实现。因此，基于Meta Llama、Microsoft Orca、Cohere Aya、Google Gemma、Mistral AI等主流预训练模型进行优化，成为更现实的选择。
当通用模型无法满足特定场景需求时，常见的三种解决方案是：Prompt Engineering（提示工程）、Retrieval-Augmented Generation（检索增强生成）和Fine-tuning（微调）。本文聚焦于微调技术，帮助读者掌握核心方法与实践工具。
为什么选择微调？
相比提示工程或检索增强，微调能真正让模型学习领域知识，适应具体任务。通过调整超参数、优化损失函数或引入行业数据，可显著提升生成质量与实用性。不同微调方式各有优势：SFT适合入门，RLHF在偏好明确的任务中表现优异，ORPO作为新兴方法，为复杂应用提供新路径。
常见的微调方法
1. 监督式微调（Supervised Fine-Tuning, SFT）
- 核心思路：使用“问题+答案”或“原文+摘要”等成对数据，以交叉熵损失函数训练模型预测完整文本。
- 训练过程：自回归模型逐步预测下一个token，持续优化输出质量。
- 适用场景：需模型掌握特定领域知识或生成特定风格内容。
2. 偏好对齐方法（Preference Alignment）
(1) 基于人类反馈的强化学习（Reinforcement Learning with Human Feedback, RLHF）
- 三步流程：
- 收集偏好数据集：同一问题下两个回答，标注优劣。
- 训练奖励模型（Reward Model）：建立评分机制。
- 强化学习优化：结合PPO等算法优化LLM输出。
- 典型流程：预训练 → SFT → 偏好对齐。
- 优缺点：效果显著但流程复杂，依赖大量人工标注。
(2) 直接偏好优化（Direct Preference Optimization, DPO）
- 特点：
- 无需训练奖励模型，直接通过损失函数优化偏好。
- 流程更简单、稳定。
- 适用场景：大多数应用中DPO更易实施，尤其适合小规模数据集。
- 研究发现：部分情况下RLHF仍优于DPO，但成本更高。
(3) 单体偏好优化（Monolithic Preference Optimization, ORPO）
- 创新点：2024年提出的新方法，融合SFT与偏好对齐步骤。
- 原理：
- 解决SFT中负样本缺乏惩罚的问题。
- 同时提升理想答案概率，降低非理想答案生成可能。
- 优势：兼顾知识学习与偏好对齐，收敛稳定，适用于复杂微调任务。
微调LLM常用工具库与框架
常用工具库
- bitsandbytes
- 提供量化相关组件（层、函数、优化器），适用于大规模模型存储与算力优化。
- Parameter-Efficient Fine-Tuning (PEFT)
- 支持LoRA（Low-Rank Adaptation）等高效微调方法。
- 集成HuggingFace生态，便于快速开发。
- Transformer Reinforcement Learning (TRL)
- 支持SFT、奖励建模（RM）、PPO及DPO等多种微调方法。
- 适用于复杂训练流程的开发者。
- wandb
- 记录训练过程中的超参数、指标等信息。
- 提升实验可视化与管理效率。
常用微调框架
- LLaMA-Factory
- 支持超100种语言模型，集成WebUI界面，简化操作流程。
- 适合初学者快速上手。
- Alpaca-Lora
- 早期开源项目，提供基础LoRA微调脚本。
- 项目已停止维护，可作学习参考。
- torchtune
- PyTorch官方推出的微调框架，架构简洁清晰。
- 推荐用于学习与实际项目开发。
## instruct
{
"instruction": "You are an AI assistant. Provide a detailed and long answer to the given task.",
"input": "Explain the benefits of regular exercise.",
"output": "Regular exercise improves physical health, boosts mental well-being, increases energy levels, enhances sleep quality, and helps maintain a healthy weight."
}
## chat
{
"conversations": [
{
"from": "system",
"value": "You are an AI assistant. You will be given a task. You must generate a detailed and long answer."
},
{
"from": "human",
"value": "Explain the importance of the internet in modern life."
},
{
"from": "gpt",
"value": "The internet is crucial in modern life as it facilitates communication, access to information, online education, e-commerce, and social connectivity, revolutionizing how people work, learn, and interact."
}
]
}import openai
from openai import OpenAI
from yogahub.cfg import settings
client = OpenAI(
api_key=settings.OPENAI_API_KEY,
)
def generate_chat_completion(prompt: str, model: str = "gpt-4o"):
try:
chat_completion = client.chat.completions.create(
messages=[
{
"role": "user",
"content": prompt,
}
],
model=model,
)
return chat_completion.choices[0].message.content
except Exception as e:
return f"An error occurred: {e}"
if __name__ == "__main__":
prompt = "Say Hello World!"
response_content = generate_chat_completion(prompt)
print(response_content)