大数跨境

前 OpenAI 研究员用权重验证:DeepSeek、Kimi 用了 Blackwell?

前 OpenAI 研究员用权重验证:DeepSeek、Kimi 用了 Blackwell? AINLP
2026-11-17
0
导读:有问题吗

前 OpenAI 研究员 Will DePue 发了一条长帖,一口气点名 DeepSeek、月之暗面、MiniMax 和蚂蚁,称它们的六个模型留下了 Blackwell 的初始化指纹。

Will 曾参与 Sora 和 Sora 2 的开发,也做过 GPT-4o、o3 等模型的后训练。这次,他通过 Unemployment Labs 发布了一份名为 Checkpoint Forensics 的报告,把线索指向了模型公开的权重。

他的办法是从权重中找出残留的随机初值,再寻找能够生成这些数值的种子和 GPU 布局。它直接识别的是初始化时的计算布局,据此推测后续训练硬件;权重本身不包含芯片地点或获取途径。

报告同时给出了跨版本的结果:DeepSeek V3 与 V4、Kimi K2.5 与 K3,匹配到的硬件布局已经不同。

哪些版本留下了新指纹

在 11 月 12 日发布的报告中,作者列出了六个 Blackwell 版本。Blackwell 比 Hopper 更新一代,不同型号的布局也有差别。

模型版本
报告匹配的芯片组
DeepSeek-V4-Flash
B200 / B300
DeepSeek-V4-Pro
GB200 / GB300
Kimi K3与K3.1-Pro
GB200 / GB300
MiniMax-M3
B200 / B300
Ling-3.1-flash
GB200 / GB300

B200/B300 在这里对应 148 SM,GB200/GB300 对应 152 SM。附录还把更新的 MiniMax-M3.1-Flash 标为与 M3 使用相同初始化,一并列入 148 SM 这一组。

再往前看,DeepSeek V3、V3.2,Kimi K2、K2.5,MiniMax M2到M2.7,以及Ling-3.0-flash,匹配的都是上一代 Hopper 的 132 SM 布局。H100 SXM、H800 和 H200 都属于这一组,这种指纹不能进一步把它们分开。

Kimi K3.1-Pro 与 K3 使用了相同种子,作者认为前者可能是 K3 继续后训练的版本。

报告检查的 Qwen3.8-2.4T-A95B、GLM-5.3、Hy4-preview、Step-5-Preview 和 MiMo-V2.5-Pro 也仍匹配 Hopper。

还有没读出结果的:DeepSeek-V4.1-Flash、Qwen3.8-Flash-Next 和 LongCat-2.0 都没有检出可用的 NVIDIA 硬件指纹。

随机数留下了痕迹

模型训练前,先要给权重填上一组初始值。这些数看起来随机,却可以重建:只要随机数生成器的种子和设置相同,它就会再次生成同样的数字。

训练会不断修改这些数,但有些位置改得很少。例如,某个 token 从未在训练中出现,它对应的 embedding 行就可能保留初值。作者找到了这样一些几乎保留原样的行,相当于留下了训练前的底稿。

找到这份底稿,就可以反过来问:用哪种设置,能重新生成它?

生成数字只是一半。GPU 还要把它们填到权重矩阵的对应位置。

可以把权重看成一长排空格,许多线程各带着自己的数字串,负责其中一部分格子。

报告用了一个缩小版的例子:6 个 SM,每个 SM 有 8 个线程,总共 48 个。第一个线程负责第 1、49、97 格;第二个线程负责第 2、50、98 格,后面的线程按同样规则接着排。

报告图1 同一线程生成的数值会落在有规律的位置

现在种子不变,只把总线程数从 48 换成 40。同一个线程生成的数字没变,但它接下来填的就成了第 41 格、第 81 格。

总线程数
第一次填
第二次填
第三次填
48
第1格
第49格
第97格
40
第1格
第41格
第81格

数字还是那些数字,位置已经错开了。 把两种排布按原位置逐格比较,大部分就对不上。

报告图2 同一种子换了线程数 数字位置随之变化

真实 GPU 的线程数大得多。在作者研究的这条 PyTorch 初始化路径中,每个 SM 对应 2048 个线程,所以 SM 数不同,填数字的排布也不同。前面的 132、148 和 152 SM,就是这样进入权重指纹的。

两个条件都要对上

要重建底稿,种子和排布缺一不可:种子决定生成什么数字,排布决定数字落在哪里。

报告图3把四种搭配摆到了一起。左上角,两者都对,示意矩阵可以重建;右上角,种子正确但排布错误,数字落错位置;下面两格换了种子,连数字序列也变了。

报告图3 种子与布局的四种组合示意

作者先搜索种子与布局的组合,找到最贴合的候选,再固定这组参数,去预测另一批没有参与搜索的权重。后面这批也能对上,说明匹配不只存在于最初挑出的样本里。

种子来自对 32 位种子空间的遍历,约 43 亿种可能。提供给读者的复现包已经带上找到的种子,可以直接检查布局匹配。

再换真显卡核对

拿 DeepSeek-V4-Flash 来看,作者给出的种子是 953049583。用它生成初值,再分别尝试不同 SM 数量的排布,与发布权重比较。

Will DePue演示用不同GPU布局重建初值

公开脚本会从 16 扫到 256,一共试 241 种 SM 数量。匹配到 148 时,V4-Flash 的相关性突然升高;V3 和 Kimi K3 的峰值则分别出现在 132 和 152。

报告图6 三个模型的相关性峰值出现在不同的SM数量

相关性接近 1,表示两组数值在对应位置上的高低变化几乎同步;接近 0,则没有明显对应关系。报告图4中,匹配的组合形成绿色斜线,换成另一种布局,就变成一团散点。

报告图4 DeepSeek V3与V4-Flash分别匹配不同布局

作者又拿真实 GPU 运行原版 PyTorch,让硬件重新生成初值。列出的结果如下:

作者使用的GPU
匹配的权重片段
H100
DeepSeek V3的8条样本行
B300
V4-Flash的461条样本行
GB200
Kimi K3的13条样本行

交叉换卡后,H100 无法重建 V4-Flash 的对应片段,B300 也无法重建 V3 的对应片段。再把种子只加一,这些真机匹配也全部消失。

从布局到具体硬件,还有一个重要问题。

报告实际测试发现,经过特殊配置的 AMD MI300X 也能产生 148 或 152 的对应布局。因此,作者又用数值计算的细微差异区分厂商,并称这一检查排除了 DeepSeek-V4-Flash 的 AMD 解释;其余五个模型没有得到同等程度的排除。

再往后,初始化与后续训练之间仍有一步:权重可以在一种硬件上生成,再转移到另一种硬件上训练。指纹本身也不包含芯片地点、取得途径或是否违规的信息。

最后

作者把代码和选好的权重行一起放到了 GitHub,片段合计约 7 MB。普通电脑用 CPU 就能运行,不必先下载这些完整大模型。

在已有的 Python 环境中,可以这样安装依赖并运行。下面固定到本文引用的代码版本:

git clone https://github.com/macrogrants/checkpoint-forensics.git
cd checkpoint-forensics
git checkout b633870c
python -m pip install numpy scipy
python replay.py

默认会检查包内的五个模型。只想看 DeepSeek-V4-Flash 和 Kimi K3,可以运行:

python replay.py DeepSeek-V4-Flash Kimi-K3

输出里主要看这几列:

输出列
怎么看
SMs
哪种线程布局最贴合
rows
给定样本中有多少行达到匹配阈值
median r
样本行相关性的中位数
seed+1
种子加一后的对照结果
next best
次优布局及它的相关性

例如作者给出的 V4-Flash 结果是 461/469:选定的 469 行中,461 行达到相关性阈值,其余 8 行已被训练部分改变。

最后,大家觉得这种验证方法有问题吗?

参考链接

  • Checkpoint Forensics 原始报告:https://unemploymentlabs.com/checkpoint-forensics
  • 公开复现代码与权重片段:https://github.com/macrogrants/checkpoint-forensics

【声明】内容源于网络
0
0
AINLP
一个有趣有AI的自然语言处理公众号:关注AI、NLP、大模型LLM、机器学习、推荐系统、计算广告等相关技术。公众号可直接对话双语聊天机器人,尝试对对联、作诗机、藏头诗生成器、自动写作等,查询相似词,测试NLP相关工具包。
内容 6131
粉丝 0
AINLP 一个有趣有AI的自然语言处理公众号:关注AI、NLP、大模型LLM、机器学习、推荐系统、计算广告等相关技术。公众号可直接对话双语聊天机器人,尝试对对联、作诗机、藏头诗生成器、自动写作等,查询相似词,测试NLP相关工具包。
总阅读41.1k
粉丝0
内容6.1k