AI科普 | 什么是混合专家模型？

KunlunMeta · AI 技术科普 · 第 4 期

什么是混合专家模型？

一家只开五个窗口的银行

想象一家大银行：后台有几千名员工，懂外汇的、懂房贷的、懂企业信贷的、懂遗产继承的，什么专家都有。但你走进大厅，不需要几千人都围上来——取号机先看你要办什么业务，把你领到对应的五六个窗口，其余的人继续干自己的活。

MoE 就是这么运作的。模型内部几十上百个「专家」各管一摊——有的擅长语法，有的擅长数学，有的擅长代码，有的擅长中文成语。你发来一句话，一个叫路由器（Router）的调度员先扫一眼，挑出几个最对口的专家来处理，其余专家这轮全员静默。

所以「2800 亿参数」说的是这家银行的总人力，「140 亿激活」说的是你这次业务实际经过的窗口人数。知识储量和使用成本，从此是两个数。

百度官方架构图：左侧 43 层主干，右上「Multi-Router Latent MoE」就是那台取号机——512 个专家（紫色方块），每个词只选 10 个上岗，另有 1 个常驻的共享专家

为什么大厂全在偷偷换架构

传统模型是「全员上岗」：来一句话，所有参数都得参与计算，参数越多、账单越厚。这条路走到 2026 年撞墙了——想要更强的智力就得堆参数，堆参数就意味着推理成本线性上涨，参数军备竞赛直接变成电费军备竞赛。

MoE 拆掉了这个死结：参数随便堆，激活量不动。今天市面上的主力模型几乎都是这个路数——DeepSeek、Kimi、文心，都是「总参数巨大、每次只用一小撮」。这也是为什么 16 万片昇腾训一个更大的 V5 在账面上是成立的：参数翻倍，训练和推理的账单不必翻倍，只要专家调度得当。

顺带解释昨天另一条新闻：百度这次开源的基座还特意标注了「预训练终点权重」——相当于把毛坯房直接交给你，装修（后训练）自己来。毛坯越便宜，装修的人才越多，这正是开源基座的意义。

三个最容易搞错的问题

问：一次只用 140 亿，是不是说明 2800 亿是虚标？
不是。没用到的专家也在记忆里——处理外语、代码、法律文书时，被激活的就是另一批窗口。参数量决定「会多少」，激活量决定「这次动用多少」。就像图书馆的书你没翻开，不代表书不存在。

问：专家是像公司部门一样按领域分的吗？
不是，这也是最大的误解。专家不是「一个管语文一个管数学」，它们的分工是训练中自发长出来的，边界非常模糊，往往一篇文章里每个词激活的专家组合都不一样。所谓「专家」，更像一群分工不明但配合默契的员工。

问：MoE 有什么代价？
有。所有专家都要驻留在显存里，哪怕这轮没被叫到——相当于几千名员工都得发工牌、占工位。所以 MoE 省的是算力（每次计算量小了），省不了显存（参数都得装下）。这就是为什么 MoE 模型对显存的要求依然惊人。

三个值得带走的词

01 · 混合专家模型（Mixture of Experts）——把一个大模型拆成「调度员 + 众多专家」的架构，每次推理只激活一小部分参数。专业上是稀疏激活的深度学习架构；大白话：一家后台上千人的银行，每次只开五个窗口。

02 · 路由器（Router）——MoE 里的调度员，逐词判断该叫哪几位专家上岗。专业上是一个可学习的小型门控网络；大白话：挂号台的取号机，看一眼你的问题就知道该分到哪个科。

03 · 稀疏激活（Sparse Activation）——总参数很大、单次计算只动用其中一小部分的机制。专业上指前向传播中仅部分参数参与运算；大白话：全网会员两千万，今晚活跃的同时在线只有一百万。

04 · 预训练终点权重（Base Checkpoint）——只完成「读完语料」这一步、尚未做行为对齐的模型原始状态。专业上是后训练（SFT/RLHF）之前的检查点；大白话：装修前的毛坯房，水电通了，家具没有。

回到昨天的两条新闻

现在再看那两条新闻，叙事就通顺了：百度开源 2800 亿/140 亿的 MoE 基座，是给全行业发毛坯房——窗口足够多，各路开发者都能进来改装自己的业务专柜；DeepSeek 押 16 万片昇腾训 V5，则是把「参数可以随便堆、账单不必跟着堆」这套账算到了国产算力上。

值得留意的一个趋势：当「堆参数」的边际成本被 MoE 压平之后，竞争的焦点正在从「谁的参数大」转向「谁的窗口开得准」——路由器的调度效率、专家的专业化程度，成了新的分水岭。参数军备的上半场结束了，调度军备的下半场刚开场。

百度官方评测总览：ERNIE 5.5 Flash Base（深蓝）对比 DeepSeek V4 Flash Base 等基座，7 大类 30 项评测——2800 亿参数的「银行」，成绩单也得和同行摆在一起看