KUNLUNMETA · AI 技术科普 · 第 5 期
什么是模型权重？
AI 的本事，到底藏在哪 · 2026.11.13
今天的日报里有三条看着毫不相干的新闻：谷歌发了一个不写字、只打分的模型；微软发现改不到 10 个神经元就能给模型埋后门；百度上线了一个要先给模型验指纹才能进场的交易平台。它们其实在说同一件东西——模型权重（Weights）。
线索 01 · 谷歌 Gemini Decision 1
单次前向传播里给最多 1000 个预设选项打置信分，不逐 Token 生成文字；端到端延迟 150–250 毫秒，每百万输入 Token 0.10 美元、输出不收费。
线索 02 · 微软 Lazarus 攻击
不重新训练，只改写不足 10 个休眠神经元，就能让模型平时正常、见到特定触发器才切换行为；改动小到常规哈希比对与抽样评测几乎看不出来。
线索 03 · 百度「词元所」
用模型指纹比对、能力与可用性测试做准入，再按四个维度给供应方建信用评级；上线一个月日均调用超 5000 万次、日均 Token 突破 7000 亿。
一条在问「同一堆数字能不能换个用法」，一条在问「改几个数字会发生什么」，一条在问「这堆数字有没有被人动过」。要读懂这三条，得先把模型拆开。
01 把模型拆开，里面只有三样东西
架构 / 代码 Architecture
规定有多少层、每层怎么连、用什么注意力。相当于菜谱上写好的步骤，谁拿到都一样。
权重 / 参数 Weights / Parameters
训练结束后留下的那千百亿个数字。模型真正学到的东西，全在这里——同一份架构，权重不同就是两个完全不同的模型。
这一轮的输入 Prompt / Context
你这次问了什么、传了哪张图。每次都变，但不会写回模型里。
前两样是「出厂状态」，第三样每次都换。所以开源模型发布时给的往往不是代码，而是一个几十 GB 的权重文件——代码可以重写，那堆数字才是花钱训出来的部分。谷歌这次的 Decision 1 也说明了另一件事：同一份权重，把出口从「逐字生成」换成「给选项打分」，就成了一个新品类。
02 一台有千亿个旋钮的调音台
把训练想成调音：台上几千亿个旋钮，每个管着信号的一点放大或衰减。调音师拿海量素材反复试，每试一次就把旋钮往「输出结果更像标准答案」的方向拧一点，拧到最后，输出和期望的差距小到可以收工。训练结束那一刻，所有旋钮的位置被原样拍下来存成文件——这张照片就是权重，也叫检查点（Checkpoint）。
常见的一个误会
模型没有把书塞进柜子，
它把读书的痕迹写进了旋钮的角度。
这也是「参数」和「数据」必须分开的原因：训练数据是练琴用的曲谱，权重是练成之后手上的肌肉记忆。你问它一句话，它不会去翻曲谱，只是照着旋钮的位置把信号算一遍。参数量越大，旋钮越多，能刻下的细微差别越密；但旋钮多不等于每一个都在干活——这正是今天日报里 Lara Mini 用 0.6B 激活参数、靠 45 语种语料配比拿下开放基座第一的原因，也是上一期聊 MoE 时那道 2800 亿 / 140 亿算术题的答案。
03 为什么改不到 10 个，就够了
微软的 Lazarus 让人后背发凉的地方，不是「能植入后门」，而是代价小到近乎免费。它走的是这样一条链路：
1挑休眠神经元
找那些平时几乎不被激活的位置，动它们不会伤到日常表现。
↓
2写入触发条件
让这几个数值只在某个暗号出现时把信号放大到足以改道。
↓
3行为切换
平时和原件一模一样，触发器一出现才执行预设动作，成了「潜伏代理」。
微软研究院官方示意图：只改写最后一层的 3 个休眠神经元，日期触发器就能串出一条命令——底部写着「一个触发器、三个神经元、一条链式载荷」
最麻烦的不是植入，是查不出来：常规权重哈希比对与抽样评测几乎看不出这点改动，而现有审计多盯着训练数据和输出内容，很少逐层核对权重本身。
现在回头看百度「词元所」把模型指纹比对放在准入第一步，逻辑就顺了：它不是先问「这模型答得好不好」，而是先问「这堆数字是不是原厂那堆」。从下载开源权重、第三方微调到企业内网部署，每一手转交都可能被植入，却没有对应的验收手段。当天我国首部《人工智能安全能力成熟度模型》国标开始征求意见，一边在问能力达不达标，一边在问权重有没有被动过——两条线还没合流。
04 一次推理，权重到底做了什么
把一次回答拆成四步，权重只出现在第二步：
STEP 1把你输入的文字、图片切成 Token，变成一串向量。
STEP 2逐层与权重做乘加——整段推理里唯一真正「用」到权重的地方，旋钮的角度在这里决定信号往哪走。
STEP 3输出层得到一组 Logits：每个候选的原始分数，再归一化成概率。
STEP 4按解码策略一个字一个字往外吐，或者……直接把分数交出去。
Decision 1 做的就是最后那个「或者」：它没有不用权重，而是停在第 3 步，把每个选项的置信度直接交给你，省掉了逐 Token 反复跑第 2 步的那一段。所以 150–250 毫秒、输出不收费在账面上才成立。同一个旋钮台，换一个「出口」就能从作家长出裁判——这也是「判断」第一次被单独做成一类产品，而不是聊天模型的附赠功能。
Google 官方示例：同一张照片挂三类问题，Decision 1 直接返回 0.95 置信度、98% 选择与 1.19/2 评分，全程不生成文字
05 六个词，够读懂今天这一整页
模型权重 Weights / Model Parameters 01
专业说 神经网络各层连接上的可学习数值，训练即通过梯度下降反复更新它们以最小化损失。
大白话 一张写了千亿个数字的配方表，AI 的本事全在这些数字里。
检查点 Checkpoint 02
专业说 训练或微调到某一时刻，把全部权重与优化器状态序列化保存下来的快照文件。
大白话 给旋钮台拍张照，下次从这张继续调，不用从头练。
前向传播 Forward Pass 03
专业说 输入从输入层逐层计算到输出层、期间权重保持不变的推理过程。
大白话 照着配方把这道菜做出来，中途不许改配方。
Logits 与置信度 Logits & Confidence 04
专业说 输出层未归一化的原始分数，经 softmax 等变换后得到各候选的概率分布。
大白话 不直接给答案，给每个选项举牌子打分。
模型指纹 Model Fingerprinting 05
专业说 对权重做哈希或结构化特征比对，用于核验模型来源与是否被篡改。
大白话 给配方表按个手印，改一个数字也对不上。
潜伏代理 / 后门 Sleeper Agent & Backdoor 06
专业说 由特定触发模式激活、其余输入下行为与原件不可区分的隐藏策略。
大白话 平时规规矩矩，看见暗号才变脸。
06 回到今天这三条新闻
▍谷歌证明同一份权重可以换一种出口，不必重新训练就多出一类产品；微软证明极少量权重改动就能换掉整个行为，而验收手段还没跟上；百度则把「这堆数字有没有被改」直接写进了交易规则。
过去两年大家比的是权重有多大、跑分多高，接下来要比的是另一组问题：权重从哪来、中途谁动过、改动能不能被追回。能力是权重给出的，可信度不是——可信度得靠权重之外那本账。这也是为什么今天的日报把「判断新品类、治理闸门、交易规则」摆在了同一页上：它们本来就是同一件事的三个切面。
一句话记住
架构是菜谱的步骤，权重是练出来的手感，输出只是这一道菜；菜谱可以抄，手感抄不走——但有人改几个数字，就能让它认暗号。
KunlunMeta