技术深读 · 蒸馏
一文讲清楚蒸馏
中国模型的能力，真能靠“蒸”出来吗
它是加速器，不是发动机
▲ 蒸馏：让小模型把大模型的“犹豫”学过来
先看一张图。一张手写的数字“八”，收笔处拖得潦草，看上去像个“六”。
把这张图喂给一个大模型，它说：这是八，把握百分之五十八。剩下百分之三十九，它觉得更像六。换一个小模型，它说：这是八，把握百分之九十九。
两个答案都对。但你仔细看，大模型那句“我有点打鼓”里面，藏着一样东西——它知道八和六长得像，它甚至能说出有多像。而小模型给出的那个百分之九十九，干净、利落，也一无所有。
这一篇要讲的，就是怎么让一个小模型把大模型的这份“犹豫”学过来。它有一个名字，叫知识蒸馏。
但这件事在 2026 年变了味道。2026 年 2 月，Anthropic 发了一篇文章，说几家中国 AI 公司通过大量调用 Claude 来“蒸馏”自己的模型。消息传开之后，一句话在中文互联网上迅速流行：中国模型的能力，全靠蒸馏。这句话成立吗？
要回答它，得先把蒸馏这件事本身讲清楚。讲清楚之后你会发现，这个问题的答案，藏在蒸馏“能传什么”和“传不了什么”之间。
CHAPTER 01
蒸馏到底是什么
为什么非要一个小模型
大模型很准，但它贵。跑一次要等更久，要更多显卡，要更多电。而很多时候，我们要的不是最强，而是够用，而且快——手机里、浏览器里、每天被调用千百万次的接口里，都不需要一个“最强”的模型，只需要一个“够用”的。
于是就有了两个角色：教的那个叫教师模型，学的那个叫学生模型。学生更小、更快、更便宜。蒸馏要做的只有一件事：让这个小学生，尽量学到老师的水平。
最容易误会的一件事：蒸馏不是压缩
很多人第一次听到“蒸馏”，会以为是把大模型的文件压成一个小文件。不是。
蒸馏是一个真正的训练过程。学生模型的参数是一步一步学出来的，不是从老师身上解压出来的。
有个很有名的例子叫 DistilBERT。它把 BERT 缩小了 40%，速度快了 60%，还保留了原来大约 97% 的能力。而训练这个小模型，用了八张显卡，跑了大约九十个小时。如果蒸馏只是压缩文件，这九十个小时在干什么？
真正“不训练就能变小”的是另一件事，叫量化——把参数的精度降下来。那是第四章要讲的，和蒸馏不是一回事。
三种监督信号：学生看什么学
01 正确答案这张图是八，就这一个字。这叫 硬标签。
02 老师给出的完整概率分布八是 58%，六是 39%，四是 1.7%，三和零也沾点边。这叫 软标签。
03 老师把解题过程写下来学生照着这个过程学。
前两种叫白盒蒸馏——你能看到老师脑子里的概率。第三种叫黑盒蒸馏——你只看得见老师写出来的字，看不见他的犹豫。大语言模型的接口通常只给你文字，所以语言模型蒸馏，更多走的是第三条路。但前两条路才是蒸馏的原点。
▲ 三种监督信号：硬标签、软标签、解题过程
CHAPTER 02
学生到底在学什么
暗知识：老师没说出口的那层
还是那张潦草的“八”。硬标签告诉你：这是八。翻译成概率就是——八是 100%，其他都是零。但这里有个问题：硬标签把“六”和“四”放在了同一个位置上，都写成零。可老师不是这么想的。老师想的是：八，58%；六，39%；四，一点点。多出来的这句，才是重点。
它告诉学生的不是“这是八”，而是“八和六长得像，八和四不太像”。Hinton 给这层东西起了个名字，叫 dark knowledge，暗知识。手写体千变万化，一个人写的八可能歪成六、可能瘦成四。软标签等于把这个字“大概长什么样”的整个范围，都交给了学生。
这件事最早不是为神经网络发明的。2006 年康奈尔大学有一项模型压缩的工作，已经在用类似思路。是 Hinton 在 2015 年那篇论文里，把它变成了一套通用方法。
温度：为什么要把概率“摊平”
这里有个技术上的麻烦。模型最后一层会给每个类别打一个分数，叫 logit。要把分数变成概率，得用 Softmax。举个例子：三个类别的分数是 3.2、1.6、0.4。取 e 的幂：24.5、5.0、1.5，加起来 31。除下来：79%、16%、5%。
问题来了：后两个分数其实没那么低，但概率几乎被第一个独占了。软标签里那些“六有 39%”的信息，在这种分布下根本挤不出来。解法是：先把分数除以一个数，再算 Softmax。这个数就叫温度 T。
换成 T 等于 4 再算一遍：46%、31%、23%。差距被压平了，原来挤不出来的东西浮出来了。温度就像个旋钮：T 很小，分布很尖，几乎退回硬标签；T 很大，分布趋近平坦。原论文的结论是：小的学生配中等温度，大概 2.5 到 4。
▲ 温度把概率摊平：原来挤不出来的信息浮出来了
Hinton 的原始实验
这套方法到底管不管用？Hinton 用 MNIST 手写数字做了实验，一万张测试图。
01 大网络67 个错误。
02 小网络 · 只用硬标签训练146 个错误。
03 同一个小网络 · 加上软标签74 个错误。从 146 降到 74，几乎砍掉一半。多出来的信息，就是那些“六有 39%”。
还有一个更漂亮的实验：把训练集里所有的数字 3 全部删掉，让模型从没见过 3。只用硬标签的学生，永远学不会 3——它没有任何关于 3 的信息。蒸馏出来的学生，却能识别 98.6% 的 3。
为什么？因为老师在看其他数字的时候，偶尔也会给出“这有点像 3”的小概率。学生从这些零碎的小概率里，拼出了 3 长什么样。
怎么训练：KL 散度与真实实验
具体怎么训练？损失函数用的是 KL 散度。它的意思是：用学生的分布去描述老师的分布，要多付多少代价。直觉很好懂：老师觉得重要的地方，学生给低了，罚得就重。然后就是标准的训练循环：预测、算损失、反向传播、更新参数，转几千次。
有人真的跑了一遍。教师模型 3600 个参数，两个学生各 310 个，小了近十二倍。只看硬标签的学生，准确率 83.3%；看软标签的学生，准确率 87.3%。四个百分点，不算惊人。但更能说明问题的是另一个数字：软标签学生和老师的分布距离，只有硬标签学生的八分之一。
也就是说，它不只是答对得更多，它的“脾气”更像老师。这套方法在几十万参数的小网络上成立。到了千亿参数的大语言模型，还成立吗？
CHAPTER 03
到了大模型，这套还成立吗
黑盒蒸馏：只能看文字
麻烦来了：你拿不到大模型的概率分布。接口只给你文字，不给你 logit。这就是黑盒蒸馏。做法很直接：让老师把题目一道道做出来，把推理过程写下来，这些文字变成训练数据，再拿去训练学生。严格说，这条路属于数据蒸馏——学生压根没看过老师的概率分布，只看过老师写的字。
代价也很明显：你只能学“老师怎么写的”，学不到“老师怎么犹豫的”。
▲ 白盒与黑盒：看得见概率，还是只看得见文字
DeepSeek R1 的六个学生
2025 年初，DeepSeek 开源了 R1，同时开源了六个从 R1 蒸馏出来的小模型，尺寸从 15 亿到 700 亿参数不等，前四个基于 Qwen 架构，后两个基于 Llama。用的数据，是 R1 生成的约 80 万条 推理样本。
这里有个关键限定：蒸馏过程只包含监督微调，不包含额外的强化学习。这些小模型没做过强化学习，只是照着 R1 写出来的推理过程学。但它们的推理能力，比自己从头练还要好：R1-Distill-Qwen-7B 在 AIME 2024 上达到 55.5%，在 MATH-500 上达到 92.8%。还有团队做过更激进的尝试——Bespoke Labs 用 48 小时把 R1 蒸馏进 Qwen，部分基准上超过了 o1-preview。
大厂自己也在用
这件事不是中国公司独有的。
01 Google明确说过，Gemini 1.5 Flash 是通过“蒸馏”把 Gemini 1.5 Pro 的知识和技能转移到更小的模型上做出来的。这是最干净的官方案例。
02 Gemma 3技术报告里，原文写着 “trained with distillation”。
03 Meta在 Llama 4 的发布博客里写得更直接：Scout 和 Maverick 这两个小模型，得益于教师模型 Llama 4 Behemoth 的知识蒸馏。Behemoth 有 2880 亿激活参数。
这里要提醒一句措辞。Google 对 Gemma 的官方说法是“built from the same research and technology”，意思是“同一套研究和技术”，不等于“从 Gemini 蒸馏”。这两句话不能混为一谈。
2026 年的新形态
到了 2026 年，蒸馏又往前走了一步。DeepSeek V4 和 Kimi K3 采用了多教师在线策略蒸馏。蒸馏不再只是“把一个大模型变小”，而是“把多个模型的能力合到一个里”。它从压缩工具，变成了能力合并工具。
CHAPTER 04
三组容易混的概念
01 微调拿一个已经训练好的模型，用新数据接着训练它。改的是它自己的参数。
02 蒸馏训练的是另一个新模型。监督信号来自老师。
03 量化把参数的数字精度降下来，比如从 32 位降到 4 位。图的是存得更省、算得更快。层数和参数量都不变。
三件事不冲突，可以叠加。先蒸馏出一个小模型，再量化成更省的，是常见做法。
一句话记住：蒸馏回答“跟谁学”，微调回答“怎么学”，量化回答“用什么精度存”。
▲ 三个词，三件事：微调、蒸馏、量化
用 R1 的体积数据看区别
拿 DeepSeek R1 举例，最能看清。完整的 R1，在 FP16 精度下是 1.3 TB；8-bit 量化版，713 GB；4-bit 量化版，404 GB。但注意：即使最小的量化版，仍然需要服务器级硬件才能跑。而蒸馏版，能跑在近乎任何一台家用电脑上。
关键区别在这里：蒸馏换了一个模型，量化还是原来那个模型。
为什么这个区分很重要？媒体说“中国模型靠蒸馏”，指的是用别人的输出当训练数据，也就是黑盒蒸馏、数据蒸馏。这和“量化压缩”“微调调优”是完全不同的事。混淆这三个词，会导致对指控的严重误读——有人把“用了开源基座”说成“蒸馏”，有人把“量化部署”说成“抄”，这些都不是一回事。
CHAPTER 05
全靠蒸馏，能做到吗
指控是什么
先把指控摆清楚，并且严格区分哪些是单方宣称，哪些是已核实。
01 Anthropic 的指控（2026-02-23）约 2.4 万个虚假账号，与 Claude 产生了超过 1600 万次交互。分家数字：MiniMax 约 1300 万次，规模最大；Moonshot 约 340 万次；DeepSeek 约 15 万次，不到总量的百分之一。标题排序把 DeepSeek 放在第一位，但按他们自己给出的数字，占比不到 1%——排序和数字对不上。而且 Anthropic 自己也承认：“蒸馏是一种广泛使用且合法的训练方法。”
02 OpenAI 的备忘录（2026-02-12）向美国众议院中国问题特别委员会指控 DeepSeek 系统性“搭便车”，说相关账号使用第三方路由器、脚本隐藏来源。
03 Google 的报告（2025-11）记录了模型提取攻击，其中一起涉及超过 10 万个提示。但这份报告没有点名任何公司，只说“私营部门实体”。中文互联网上有些说法把它直接关联到某家中国公司，是过度解读。
04 DeepSeek 的回应（2025-09）通过登上《Nature》封面的 R1 论文：V3-Base 的训练数据仅来自普通网页和电子书，不含合成数据；数据截止 2024 年 7 月，当时还没有公开的先进推理模型。但要注意：这个回应只覆盖预训练阶段，没有说明后训练。
先看指控本身站不站得住
01 数字口径混乱Anthropic 在 2026 年 9 月又发了一轮报告，说 DeepSeek 相关交互超过 1210 万次。两轮报告，同一个对象，数字相差八十倍。时间窗口、口径定义、是否包含转发流量，都没有公开说明。这两组数字不能混用，也不能相加。
02 技术归因困难多位研究员指出，目前没有有效方法确定一个模型是否蒸馏了另一个。Anthropic 没有公开原始账号清单、请求日志，也没有给出可复现的归因方法。所有数字都是单方宣称。
03 法律定性未决既然 API 是开放付费调用的，形式上属于使用产品。是否违反服务条款，应该由法律界定，而不是舆论先行定性。
04 指控方自身的立场2025 年 9 月，Anthropic 以 15 亿美元和解了美国史上规模最大的版权诉讼——被指控从盗版站下载了超过 700 万本书来训练 Claude。这不是“你也不干净”的简单反击，它说明的是：训练数据的合规边界，本身正在被重新划定。
▲ 为什么“全靠蒸馏”做不到：六条证据
六条证据：为什么“全靠蒸馏”做不到
01 传不了架构、数据管线和训练配方从输出里，你能拿到的是“答案长什么样”。拿不到的是：模型的架构、内部技巧、数据管线、训练配方，以及为什么在某个阶段采用某种设计。如果能力主要来自这些拿不到的东西，那蒸馏就只能学到表层。
02 R1 的训练方式，与“抄”的逻辑不符《Nature》论文披露 R1 的训练成本：29.4 万美元，使用 64 台八卡 H800 服务器。更关键的是方法：R1-Zero 走的是纯强化学习路线——没有用人类标注的推理过程做冷启动，让模型自己在解题中摸索出推理能力。如果全靠蒸馏，就不需要去冒这个险。走这条路本身，就是“没有现成答案可抄”的证明。
03 第三方研究者的独立判断Hugging Face 的 Lewis Tunstall 说，仅用纯强化学习就能获得极高性能，DeepSeek 可能无须蒸馏 OpenAI；俄亥俄州立大学 Huan Sun 认为 DeepSeek 的回应“同样具有说服力”；Snorkel AI 的 Braden Hancock 说仅靠蒸馏，不可能在这么短的时间里训练出 Kimi K3 这种强度；艾伦人工智能研究所的 Nathan Lambert 说得更直接——如果蒸馏足以复制前沿能力，其他团队本应很容易追上 GLM 或 Kimi，但现实并非如此。
04 如果这么管用，为什么别人没蒸出来全世界都能付费调用 Claude、GPT、Gemini 的接口。如果“大量调用 + 拿输出训练”就能造出前沿模型，那这个门槛低到不该只有少数几家做到。但事实是，做到的就那么几家。反过来看也有意思：字节的 Seed 团队明确坚持“不蒸馏”，代价是 Seed-2.1 Pro 在 Code Arena 的 WebDev 榜单上只排到第十六——这说明不蒸馏确实会落后，但也说明蒸馏不是唯一路径。
05 蒸馏有明确的能力天花板容量差距：学生太小，装不下老师那么多细节。会学老师的错误：实验里，老师答错的题，软标签学生更容易跟着错，而且错得更自信。方向性缺陷：有研究测出这种偏差会让准确率差出 13 到 15 个百分点。苹果《Distillation Scaling Laws》的结论很冷静：只有满足特定条件，蒸馏才优于监督预训练。
06 行为特征对不上如果学生只是抄，它应该在“老师强的地方强、老师弱的地方弱”。但实测中，R1-Distill-Qwen-7B 在 AIME 2024 上超过了更大的 QwQ-32B-Preview。学生超过教师，是已知现象——这说明蒸馏不是简单的复制粘贴。当然也要诚实：这种超越发生在特定基准上，不等于全面超越。
要说得公平一点：苹果那篇论文同时也发现，学生是可以超越教师的——前提是有足够的数据、合适的温度和训练配置。所以准确的说法不是“学生超不过老师”，而是：蒸馏的上限，由教师能力、学生容量、数据量三者共同决定。
但也要承认：蒸馏确实起了作用
OpenAI 战略未来主管 Dean W. Ball 在加入 OpenAI 后说，他认为蒸馏在中国模型追赶中的作用，比自己原先意识到的更大——看到内部信息之前猜 30%，之后觉得更接近 50%。这里必须澄清：这个 50%不是训练数据占比，不是模型能力占比，也不是省了一半训练成本。它是一个人对“追赶现象有多少可以归因于蒸馏”的主观估计，帖子里没有给出计算方法。准确的说法是“他这样估计”，而不是“OpenAI 证实了”。
行业观察也支持蒸馏确实有用：它是把模型尽快推过可用门槛的常用手段。但长期风险同样存在。UCL 博士、布里斯托助理教授杨梦月指出：为了蒸馏挤压其他方面的预算去买 token，会降低对原创研发的支持度；如果持续蒸馏，可能过度依赖别人的模型，最终削弱架构、基础设施等层面的自研能力。用她的话说，“蒸多了可能容易上瘾”。
本章结论：“全靠蒸馏”这个说法，在技术上站不住——蒸馏传不了架构、数据管线、训练配方；R1 走纯强化学习路线、训练成本仅 29.4 万美元，与“抄现成答案”的逻辑不符；全世界都能做，但只有少数几家做到。但“完全没用蒸馏”也不成立——它是行业普遍做法，Google、Meta 自己都在用；DeepSeek 的回应只覆盖预训练；有研究者主观估计贡献接近一半。更准确的表述是：中国模型的能力，不是“蒸”出来的，但也不是“一点没蒸”。蒸馏更像是加速器，而不是发动机。真正决定能跑多远的，是架构、数据、训练方法和工程能力——这些恰恰是蒸馏拿不走的部分。
CHAPTER 06
总结：蒸馏的能与不能
回到最初那张潦草的“八”。
蒸馏能做到什么
让一个小模型在特定任务上够用，而且便宜很多；传递的不是答案，是答案之间的关系；它已经是行业标准工序——Google 用它做 Gemini Flash，Meta 用它做 Llama 4 的小模型，DeepSeek 用它做六个蒸馏版。
蒸馏做不到什么
传不了架构、数据管线、训练配方；学生容量有限，装不下老师全部细节；会学老师的错误，而且错得更自信；不保证全面达到老师的水平。
回到那张“八”
老师先做一遍题。学生不止看到答案，还看到老师有多确定，以及老师把哪些东西搞混了。学生照着自己和老师的差距，一点点调整参数。这个循环，重复成千上万次。
“老师带学生”这个比方很好用。但要知道它在哪里不成立：模型并没有人类那样的理解，也没有谁在课堂上讲课。真正发生的是：数据从老师流向学生，概率分布之间的对齐，参数被一次次推动。最后，学生的行为变得更像老师了。这就是知识的迁移。
蒸馏不是把大模型“压小”，是“重新教一个学生”。它能让小模型在特定任务上够用且便宜，但不会造出一个缩小版的完美老师。
最后
至于“中国模型全靠蒸馏”——如果真能靠蒸出来，那这个行业的门槛就太低了，低到不该只有少数几家站在前面。
门槛没那么低。发动机从来不是别人的。
你更信哪一派：“蒸馏是行业惯例”还是“蒸馏是搭便车”？
留言说说你的判断——最好带上你信的那条证据。
点赞 · 在看 · 收藏 三连，我们下篇见
