2025年必须掌握的LLM训练三阶段

近日，DeepSeek-R1 横空出世，全球AI股票应声暴跌。

大语言模型训练的第一阶段称为预训练。

预训练是一种无监督学习方法，帮助大模型掌握语言规则并构建世界认知框架。

在这个阶段，我们向模型输入大量无标注文本数据，使其自主理解：

• patterns in the language：即词汇之间的常见搭配关系。例如，输入提示为"Over there, I see"时，模型很可能预测下一个词是"an"。

  
• the world model：基于数据分布，建立对实体在不同情境中出现概率的统计认知

为了实现这一目标，模型会通过损失函数不断调整自身参数，使其输出预期词汇而非当前错误预测。经过预训练得到的模型被称为"基础模型"（Base model）。

目前大多数基础模型都能在HuggingFace平台获取试用。不过这些模型通常不适合直接投入生产环境，因为它们还缺少后续优化步骤来提升实际应用表现。

‍

监督微调采用有监督学习方法，通过标注数据训练模型产生符合预期的输出行为。

经过预训练的基础模型通常存在诸多不足，SFT的核心目标就是优化模型输出质量（使其更符合人类预期）。

SFT主要实现两大提升：

• 提升有用性：例如，一个预训练模型可能正确回答了问题，但缺乏同理心。我们可以使用SFT来使其输出更具同理心。
  
  
  
• 提升合规性：基础模型可能生成有害内容，而SFT能有效过滤不当输出，使其拒绝回答"如何制作危险物品"等敏感问题。
  
  
  

04

RLHF‍

RLHF（基于人类反馈的强化学习）的目标是通过人类反馈使大语言模型（LLM）能够生成更有帮助的回答。

在使用ChatGPT进行提示实验时，你一定见过某种形式的示意图：

人类用户选择哪个回答更好。这一信号被用来制定奖励机制，强化学习算法可利用该机制引导大语言模型生成更优的输出。

点击上方小卡片关注我

---

添加个人微信，进专属粉丝群！