一文讲清楚微调它是什么、怎么做、还会往哪走

▲ 微调：从“改造模型的正门”，退成了特定场景的一个选项

一个反常的现象。

2025 年，“微调”是 AI 圈最热的动词之一。企业买卡、标数据、训垂域模型，一套完整教程动辄四小时，播放量二十几万。那时候的判断很统一：通用大模型不够用，得把它改成“自己的模型”。

2026 年，同样的问题再问一遍，回答变成了“先别急着微调”。

反常的地方在于，微调并没有消失。2026 年仍有近十万播放的完整微调教程，热度还在。塌掉的不是它的热度，是它的地位——它从“改造模型的正门”退成了“特定场景下的一个选项”。

那么问题就变成了：它到底该在什么时候用？

微调被高估的根源，是很多人把它当成了“改造模型的唯一入口”。这个误解不拆掉，后面所有的讨论都会跑偏。

一个模型从零到能用，只有两大步。

第一步是预训练。把海量文本喂进去，让它学会语言的规律和世界的常识。这一步出来的东西，像是一个读了很多书但不太会跟人打交道的书呆子——什么都知道一点，但让它干活，它不知道该怎么配合你。

第二步是后训练，把书呆子调成能用的助手。后训练里又分两块：第一块叫监督微调（SFT），拿一批“问题—标准答案”的样本教它该怎么回答；第二块是强化学习，用奖励信号教它哪些回答更好。

所谓“微调”，通常说的就是第一块。

这个位置一说清，一个常见的争论就自动失效了。“微调 vs 不微调”其实是个伪命题——后训练这一层是必须有的，问题从来不是要不要调，而是在这一层里，微调该占多大比重。

2024 到 2025 年微调之所以火爆，本质是一个很朴素的愿望：企业希望通用模型变成自己的模型。自己的行业术语、自己的话术风格、自己的业务规范，都希望它张嘴就来。这个愿望是合理的，微调也确实能部分满足它。但“能部分满足”和“是唯一办法”，是两件事。

那为什么 2026 年开始往后缩？得先讲清楚它到底在干什么，否则“退潮”这个词很容易被理解成“这东西不行”。

▲ 微调到底在改什么：挪的不是知识，是参数

到底在改什么

模型内部是一大堆数字，叫参数。预训练完成时，这些数字已经调到了一个不错的位置——模型会说话、懂常识，但不太听指挥。

微调做的事，就是拿一批新数据，把这些数字再挪一挪，让它在新任务上表现更好。

听起来简单，但有个成本问题。一个 7B 模型（70 亿参数），如果全部参数都要训练，显存里不只要装模型本身，还要装梯度（和参数量同量级）和优化器状态（Adam 优化器要存一阶、二阶动量，约是参数量的两倍）。所以实际显存需求远高于“参数量 × 2 字节”这个直觉数字。

这就是全参数微调（Full Fine-tuning）的代价：效果最直接，但贵。而且每做一个任务，就得存一份完整的模型副本，几 GB 到几十 GB。

转折点：只改一小部分

2021 年之后，主流做法换成了参数高效微调（PEFT）。思路是：冻结绝大部分原参数，只训练一小部分新增的。

它成为主流，不是因为效果更好，而是因为改变了成本结构：可训练参数从 100% 降到通常 1% 以下，每个任务的产物从一个完整模型变成一个几十 MB 的适配器文件。这里面最有代表性的是 LoRA（低秩适配，微软 2021 年提出）。

LoRA 的出发点是一个观察：模型在适配新任务时，权重的变化量本身是很“简单”的——用数学话说，它具有很低的“内在秩”。也就是说，为了学会一个新任务，不需要动整个大矩阵，只需要在少数几个方向上调整。

具体做法是：不动原来的权重矩阵 W₀，而是在旁边挂两个小矩阵 A 和 B，让它们相乘得到一个增量：

其中 W₀ 冻结不训练，A 和 B 是唯一被训练的参数。原本要训练 d×k 个参数，现在只要训练 r×(d+k) 个——当 r 远小于 d 和 k 时，压缩是数量级的。

有两个工程细节值得知道，因为它们解释了实践中的很多困惑。第一，B 通常初始化为 0。这样训练刚开始时增量是 0，模型输出和原模型完全一致，不会一上来就把预训练能力搞坏。

第二，训练完可以合并回去。把 B×A 加回 W₀，就得到一个普通的权重矩阵，推理时没有任何额外延迟。这是 LoRA 相比其他方案最关键的优势。

一个常被忽略的超参陷阱

LoRA 有两个关键超参：r（秩，决定给多少空间去学）和 α（缩放因子，决定学到的内容按多大音量播放）。问题在于，实际生效的是α 除以 r。所以如果你只调 r 不调 α，等于偷偷改了学习率强度。这是很多人“LoRA 怎么调都不对”的真实原因——不是模型不行，是两个参数在互相牵制。

其他几条路，一句话分清

还有一个变体叫 QLoRA（2023），做法是把冻结的基座模型先压成 4bit，再在上面做 LoRA。它用三重设计（NF4 量化、双重量化、分页优化器）把 65B 模型的微调显存从 780GB 以上压到 48GB 以下——按论文自述，单块 48GB 显卡就能微调 65B 模型。

这一步的意义不只是省钱：它把微调从“必须有大厂算力”变成了一张消费级显卡也能试。

数据比算法更重要

微调用的数据，标准格式是指令-回答对：给一句指令，配一个标准答案。工程上有个容易出错的细节——只有回答部分计算损失，指令部分要屏蔽掉，否则模型会去学“怎么提问”。

但真正决定成败的不是格式，是质量。2023 年 Meta 的 LIMA 做过一个很有名的实验：只用 1000 条 精选指令数据微调，不做任何偏好对齐，结果在人类评估中有 43% 的情况不输 GPT-4。

这个实验的结论值得琢磨：模型的绝大部分知识在预训练阶段就已经学完了，微调主要是在教“怎么答”——格式、语气、风格。需要说清楚的是，这是 LIMA 的解释性假说，不是已证实的机制，而且前提是基座模型足够强。但它指出的方向很重要：如果微调主要是在教格式，那它天然就是一个轻量工具，而不是能力来源。

完整流程：四步，第三步最容易糊弄

一次微调通常走四步：数据准备 → 训练 → 评估 → 部署。前两步大家都很重视，第三步最容易被糊弄。

评估不能只看 loss。loss 下降不代表能力提升。至少要查三件事：新任务上有没有变好、通用能力有没有退化、安全性有没有下降。微调最常见的失败，不是训练不收敛，而是评估没做对——把一个通用能力已经退化的模型当成成功案例上线了。

还有一道工序：偏好对齐

完整的后训练是两段式流水线：SFT 教模型“怎么答”，偏好对齐（RLHF / DPO）教它“哪个答案更好”。它们不是竞争方案，是两道工序。有人以为“有了 DPO 就不需要 SFT 了”，实际上 DPO 通常仍需要 SFT 做冷启动，否则模型分布偏离太远，偏好优化会不稳定。

这条流水线本身也在不断简化：PPO 需要四个模型，DPO 去掉了奖励模型，GRPO 又去掉了 Critic。门槛一路下降，这正是微调从“核心竞争力”变成“标准工序”的技术机制。

▲ 微调退潮的四股力量：供给侧、方法侧、替代侧、需求侧

微调退潮不是风向变了，是四股力量在同一时间朝同一个方向推。它们分别来自供给侧、方法侧、替代侧和需求侧。

方法侧那条要展开一句。很多人把“学了新的忘了旧的”解释成简单的遗忘。这个说法不算错，但太轻了。真正的问题是权重是共享的——模型内部没有一块专门留给“数学”的抽屉，你为了新任务调整的那些参数，很可能正是它解数学题时在用的。改一处，牵动全身。

这就意味着，微调不是“加一个能力”，而是“重新分配能力”。你得到什么，取决于你失去什么。

把第三、第四股放在一起看就清楚了：微调的成本是 GPU、标注人力、重训周期，而且知识一更新就得从头再来一遍；上下文工程和检索的成本是工程复杂度，知识更新时改文档就行。四股力量里，这两股最值得注意，因为它们不只是“让微调显得不划算”，而是直接提供了替代品。替代品一旦出现，退潮就不再是成本问题，而是路线问题。

▲ 微调该用在哪：四类仍然更简单的场景

把微调判成“没用了”，是另一种误读，而且这种误读在实践中更危险——它会让人在明明该用微调的地方绕远路。有四类场景，SFT 和 LoRA 仍然是更简单的选择。

这四类场景有一个共同点：你只需要它干好这一件事，不在乎它的其他能力。前面说的“灾难性遗忘”，在这个前提下就不再是问题——因为你本来就不需要它保留那些能力。

▲ 微调的新方向：学得好的同时，别把旧能力搞坏

一个容易被忽略的事实是：微调的研究并没有停，只是目标变了。过去的目标是“让模型在新任务上表现更好”，现在的目标多了一条——“在新任务上表现好的同时，别把旧能力搞坏”。

最值得看的一个方向：给微调加约束

这个方向最有代表性的工作叫 OSFT（正交子空间微调）。论文 2025 年 4 月上 arXiv，2026 年被 ICLR 接收，随后获得厂商推广。需要说明时间：它不是“2026 年才出现的新方法”，而是“2025 年提出、2026 年受到关注”。

它的思路可以这样理解：把权重矩阵做一次奇异值分解，就像给一栋楼做结构探测——奇异值大的方向，是对旧任务至关重要的“承重墙”；奇异值小的方向，是可以自由改动的“空地”。

OSFT 的做法是：训练新任务时，约束参数更新只在与旧任务关键方向正交的子空间里进行——不碰承重墙，只在空地上施工。而且这个划分不是一次定死的，会随任务动态调整。

据 Red Hat 官方博客援引该论文的数据，在 TRACE 基准的八任务链上，标准微调的平均分约 23%，OSFT 达到 48.4%。这个数字要读准：48.4% 是显著缓解，不是“解决了遗忘”——绝对值还不到一半。

更大的背景：持续学习成了新命题

OSFT 属于一个更大的方向——持续学习。灾难性遗忘最早是 1989 年在神经网络里被发现的，比大模型早了三十多年。所以这不是 AI 的新病，是神经网络的旧病。2025 到 2026 年，围绕它长出了四条技术路线：

这些路线的共同前提是一个判断：模型不再是“训练一次就上线”的静态产物，而是需要持续更新的长期资产。

另外三条值得注意的动向

▲ 微调与蒸馏差在哪：一个改造原模型，一个训练新模型

讲完技术细节，有必要澄清一个高频混淆：微调和蒸馏到底差在哪。一句话区分——

知识蒸馏（Knowledge Distillation）比大模型时代早得多，2014 年由 Hinton 等人提出。它的设定是：有一个能力强的大模型当教师，有一个能力弱的小模型当学生。让学生去学教师的输出——不只是学“标准答案”，还要学教师对各个选项的概率分布（叫“软标签”）。

为什么要学概率分布？因为标准答案只告诉你“选 A”，而概率分布会告诉你“A 很像，B 也有一点可能”——这种信息被称为“暗知识”，它比硬答案包含更多信息量。蒸馏的目的有三个：压缩体积、降低推理成本、把大模型能力迁移到小模型。

最本质的差异在模型身份：微调之后还是原来那个模型，只是参数变了；蒸馏之后得到的是一个新的、更小的模型。

这里有个术语细节很容易写错。严格意义上的蒸馏，学的是教师的概率分布（需要拿到教师的 logits）。但很多时候，人们只是拿教师生成的文本去训练学生——这在学术上叫“序列级蒸馏”或“数据蒸馏”，不是 Hinton 原义的软标签蒸馏。但业界常把两者都叫蒸馏。所以如果你看到“用大模型生成数据再微调小模型”这种说法，更准确的描述是：这是“用蒸馏数据做微调”——蒸馏负责造数据，微调负责训练。

这引出一个重要结论：蒸馏和微调不是二选一，它们经常串起来用。最常见的做法是：先用大模型批量生成“指令-回答”对，再拿这批数据去微调小模型。这是当前低成本把大模型能力搬到小模型上的标准路径。一句话概括这个分工：蒸馏负责“教什么”，微调负责“怎么学”。

顺着这个逻辑，很容易得出“合成数据可以替代人工标注”的结论。但 QLoRA 论文给出了一个直接反例：9k 条人工标注样本，效果优于 450k 条合成或公开样本。这说明合成数据大幅降低了成本，但在质量维度上，高质量人工数据仍有优势。

怎么选：一个简单的判断

▲ 模型调整的四层分工：微调、RAG、上下文工程、记忆层

2026 年真正的变化，是模型调整从“一件事”变成了“四层分工”。

关键判断：这四层不是替代关系，是分工。2026 年发生的事，不是微调被淘汰了，而是后三层吃掉了原本属于微调的大部分份额。微调退到它最擅长的角落——风格、格式、窄任务。

这个分工之所以成立，是因为四层各自解决的是不同性质的问题：微调改的是“模型怎么反应”，RAG 改的是“模型知道什么”，上下文工程改的是“模型此刻看什么”，记忆层改的是“模型下次还记不记得”。四种问题，四种解法，互相替代不了。

几条可落地的判断准则

前四条基本能覆盖日常判断。第五条最值得停一下，因为它指向一个还没解决的问题。

回到最初的问题：微调到底是什么

微调是什么？它是拿一批新数据，把预训练好的模型参数再挪一挪，让它在新任务上表现更好。技术上，今天绝大多数人说的微调，指的是 LoRA 这类参数高效方案——冻结原模型，只训练一个几十 MB 的适配器。

它怎么做？四步：准备指令数据、训练、评估、部署。其中最容易出错的是数据质量和评估——数据决定上限，评估决定你会不会把一个已经退化的模型当成成功案例。

它和蒸馏差在哪？微调改造同一个模型，蒸馏训练另一个更小的模型去模仿。两者不是二选一，最常见的做法是先用大模型蒸馏出数据，再拿这批数据做微调。

它还会往哪走？两个方向。一个是把破坏性关进笼子里——OSFT 这类方法用子空间约束，让模型学新东西时少伤旧能力。另一个是继续降低门槛——QLoRA 让单卡能训 65B，端侧适配器让一个基座能变出多个人格。

一项技术从“什么都能干”退到“某些事干得最好”，通常不是它变差了，而是周边的工具长起来了，分工变细了。微调现在就在这个位置上。它没有被淘汰，它被定位了。

对实践者来说，这个变化带来的最大调整不是“要不要学微调”，而是换一个提问方式。不要问“该不该微调”，要问“我要解决的问题属于哪一层”。事实在变就上检索，行为不对就先调上下文，要固定风格才轮到微调。

把问题放对层，比选对工具更重要。因为工具会一直变，而“先分清问题属于哪一层”这个习惯，能让你在下一波技术变化里少走弯路。