前 OpenAI 研究员 Will DePue 发了一条长帖,一口气点名 DeepSeek、月之暗面、MiniMax 和蚂蚁,称它们的六个模型留下了 Blackwell 的初始化指纹。
Will 曾参与 Sora 和 Sora 2 的开发,也做过 GPT-4o、o3 等模型的后训练。这次,他通过 Unemployment Labs 发布了一份名为 Checkpoint Forensics 的报告,把线索指向了模型公开的权重。
他的办法是从权重中找出残留的随机初值,再寻找能够生成这些数值的种子和 GPU 布局。它直接识别的是初始化时的计算布局,据此推测后续训练硬件;权重本身不包含芯片地点或获取途径。
报告同时给出了跨版本的结果:DeepSeek V3 与 V4、Kimi K2.5 与 K3,匹配到的硬件布局已经不同。
哪些版本留下了新指纹
在 11 月 12 日发布的报告中,作者列出了六个 Blackwell 版本。Blackwell 比 Hopper 更新一代,不同型号的布局也有差别。
|
|
|
|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
B200/B300 在这里对应 148 SM,GB200/GB300 对应 152 SM。附录还把更新的 MiniMax-M3.1-Flash 标为与 M3 使用相同初始化,一并列入 148 SM 这一组。
再往前看,DeepSeek V3、V3.2,Kimi K2、K2.5,MiniMax M2到M2.7,以及Ling-3.0-flash,匹配的都是上一代 Hopper 的 132 SM 布局。H100 SXM、H800 和 H200 都属于这一组,这种指纹不能进一步把它们分开。
Kimi K3.1-Pro 与 K3 使用了相同种子,作者认为前者可能是 K3 继续后训练的版本。
报告检查的 Qwen3.8-2.4T-A95B、GLM-5.3、Hy4-preview、Step-5-Preview 和 MiMo-V2.5-Pro 也仍匹配 Hopper。
还有没读出结果的:DeepSeek-V4.1-Flash、Qwen3.8-Flash-Next 和 LongCat-2.0 都没有检出可用的 NVIDIA 硬件指纹。
随机数留下了痕迹
模型训练前,先要给权重填上一组初始值。这些数看起来随机,却可以重建:只要随机数生成器的种子和设置相同,它就会再次生成同样的数字。
训练会不断修改这些数,但有些位置改得很少。例如,某个 token 从未在训练中出现,它对应的 embedding 行就可能保留初值。作者找到了这样一些几乎保留原样的行,相当于留下了训练前的底稿。
找到这份底稿,就可以反过来问:用哪种设置,能重新生成它?
生成数字只是一半。GPU 还要把它们填到权重矩阵的对应位置。
可以把权重看成一长排空格,许多线程各带着自己的数字串,负责其中一部分格子。
报告用了一个缩小版的例子:6 个 SM,每个 SM 有 8 个线程,总共 48 个。第一个线程负责第 1、49、97 格;第二个线程负责第 2、50、98 格,后面的线程按同样规则接着排。
报告图1 同一线程生成的数值会落在有规律的位置
现在种子不变,只把总线程数从 48 换成 40。同一个线程生成的数字没变,但它接下来填的就成了第 41 格、第 81 格。
|
|
|
|
|
|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
数字还是那些数字,位置已经错开了。 把两种排布按原位置逐格比较,大部分就对不上。
报告图2 同一种子换了线程数 数字位置随之变化
真实 GPU 的线程数大得多。在作者研究的这条 PyTorch 初始化路径中,每个 SM 对应 2048 个线程,所以 SM 数不同,填数字的排布也不同。前面的 132、148 和 152 SM,就是这样进入权重指纹的。
两个条件都要对上
要重建底稿,种子和排布缺一不可:种子决定生成什么数字,排布决定数字落在哪里。
报告图3把四种搭配摆到了一起。左上角,两者都对,示意矩阵可以重建;右上角,种子正确但排布错误,数字落错位置;下面两格换了种子,连数字序列也变了。
报告图3 种子与布局的四种组合示意
作者先搜索种子与布局的组合,找到最贴合的候选,再固定这组参数,去预测另一批没有参与搜索的权重。后面这批也能对上,说明匹配不只存在于最初挑出的样本里。
种子来自对 32 位种子空间的遍历,约 43 亿种可能。提供给读者的复现包已经带上找到的种子,可以直接检查布局匹配。
再换真显卡核对
拿 DeepSeek-V4-Flash 来看,作者给出的种子是 953049583。用它生成初值,再分别尝试不同 SM 数量的排布,与发布权重比较。
Will DePue演示用不同GPU布局重建初值
公开脚本会从 16 扫到 256,一共试 241 种 SM 数量。匹配到 148 时,V4-Flash 的相关性突然升高;V3 和 Kimi K3 的峰值则分别出现在 132 和 152。
报告图6 三个模型的相关性峰值出现在不同的SM数量
相关性接近 1,表示两组数值在对应位置上的高低变化几乎同步;接近 0,则没有明显对应关系。报告图4中,匹配的组合形成绿色斜线,换成另一种布局,就变成一团散点。
报告图4 DeepSeek V3与V4-Flash分别匹配不同布局
作者又拿真实 GPU 运行原版 PyTorch,让硬件重新生成初值。列出的结果如下:
|
|
|
|---|---|
|
|
|
|
|
|
|
|
|
交叉换卡后,H100 无法重建 V4-Flash 的对应片段,B300 也无法重建 V3 的对应片段。再把种子只加一,这些真机匹配也全部消失。
从布局到具体硬件,还有一个重要问题。
报告实际测试发现,经过特殊配置的 AMD MI300X 也能产生 148 或 152 的对应布局。因此,作者又用数值计算的细微差异区分厂商,并称这一检查排除了 DeepSeek-V4-Flash 的 AMD 解释;其余五个模型没有得到同等程度的排除。
再往后,初始化与后续训练之间仍有一步:权重可以在一种硬件上生成,再转移到另一种硬件上训练。指纹本身也不包含芯片地点、取得途径或是否违规的信息。
最后
作者把代码和选好的权重行一起放到了 GitHub,片段合计约 7 MB。普通电脑用 CPU 就能运行,不必先下载这些完整大模型。
在已有的 Python 环境中,可以这样安装依赖并运行。下面固定到本文引用的代码版本:
git clone https://github.com/macrogrants/checkpoint-forensics.git
cd checkpoint-forensics
git checkout b633870c
python -m pip install numpy scipy
python replay.py
默认会检查包内的五个模型。只想看 DeepSeek-V4-Flash 和 Kimi K3,可以运行:
python replay.py DeepSeek-V4-Flash Kimi-K3
输出里主要看这几列:
|
|
|
|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
例如作者给出的 V4-Flash 结果是 461/469:选定的 469 行中,461 行达到相关性阈值,其余 8 行已被训练部分改变。
最后,大家觉得这种验证方法有问题吗?
参考链接
-
Checkpoint Forensics 原始报告:https://unemploymentlabs.com/checkpoint-forensics -
公开复现代码与权重片段:https://github.com/macrogrants/checkpoint-forensics

