大数跨境

DeepSeek V4 炸场!1.6万亿参数、百万上下文,但官方论文自己承认:训练根本没稳住

DeepSeek V4 炸场!1.6万亿参数、百万上下文,但官方论文自己承认:训练根本没稳住 未来跃迁
2026-04-25
0
导读:DeepSeek V4 炸场!1.6万亿参数、百万上下文,但官方论文自己承认:训练根本没稳住

导读
DeepSeek V4 刚发布就刷爆全网——1.6 万亿参数、百万 token 上下文、跑在华为芯片上,开发者社区集体狂欢。但就在同一天,有人翻开官方技术报告,发现了一段让人不太舒服的话:「我们在训练中遇到了明显的稳定性挑战。」更扎心的是,DeepSeek 自己也承认,简单回滚根本压不住 loss spike。14 万人围观的质疑帖,把这场发布会变成了一场技术圈的公开辩论。

全网刷屏:V4 到底有多猛?

4 月 24 日,DeepSeek 放出了 V4 系列预览版。

两个型号,一个比一个夸张:V4-Pro,1.6 万亿总参数,49B 激活;V4-Flash,284B 总参数,13B 激活。上下文窗口直接拉到了100 万 token。训练数据量更是暴力堆到了33 万亿 token——比 V3 翻了一倍还多。

AP 在第一时间发了报道,重点提了两件事:一是 V4 跑在华为 Ascend 芯片上,彻底绕开了英伟达;二是这个发布比市场预期晚了两个多月,有分析师原本以为农历新年前后就会上线。

AP 报道 DeepSeek V4 发布

▲ DeepSeek V4 官方技术报告首页,1.6T 参数 MoE 架构,benchmark 全面对标 Claude、GPT

Hacker News 上的开发者几乎是秒炸。讨论帖迅速堆到上百条,画风异常统一:

"Today is a good day for open models. Thank god for DeepSeek."

「对开源模型来说,今天是个好日子。感谢 DeepSeek。」

有人在算价格——Pro 版 $3.48/百万输出 token,Flash 版只要 $0.28。有人在算能不能替代 Claude Sonnet。有人已经在本地用 ollama 跑起来了。

Hacker News 开发者讨论

▲ Hacker News 讨论帖,开发者集体围绕价格、部署、替代方案展开讨论

气氛好到什么程度?一位开发者直接说:

"If that is really so, it would be now be good enough to replace claude for us..."

「如果真这么强,够我们用来替代 Claude 了……」

但就在大家忙着庆祝的时候,另一边,有人已经开始逐页翻论文了。

翻开论文第 4.2.3 节,画风突变

Susan Zhang(@suchenzang),发了一条让技术圈瞬间安静下来的推文。

她的核心判断只有一句话:

"deepseek could not fix training instabilities, after doubling from ~15T tokens in v3 to ~33T tokens in v4"

「DeepSeek 从 V3 的约 15T token 扩到 V4 的约 33T token 后,依然没能真正修掉训练不稳定问题。」

这条推文不是凭空猜测。她直接截了官方 PDF 第 4.2.3 节——标题赫然写着"Mitigating Training Instability"——然后把关键段落高亮标红。

Susan Zhang 源头推文

▲ Susan Zhang 的源头推文,附带 V4 论文 instability 章节截图,14.5 万次浏览

论文原文是这么说的:

"Training trillion-parameter MoE models presents significant stability challenges, and DeepSeek-V4 series are no exception. We encountered notable instability challenges during training."

「训练万亿参数的 MoE 模型会带来严峻的稳定性挑战,DeepSeek-V4 也不例外。我们在训练过程中遇到了明显的稳定性挑战。」

紧接着还有一句更扎心的:

"While simple rollbacks could temporarily restore the training state, they proved inadequate as a long-term solution because they do not prevent the recurrence of loss spikes."

「简单回滚虽然能暂时把训练状态拉回来,但作为长期方案远远不够——因为它根本挡不住 loss spike 反复出现。」

这两段话的杀伤力在于:争议的来源,就是 DeepSeek 自己。

23 条回复、79 次转发、近 1300 个点赞、超过14 万次浏览——对一条纯技术分析帖来说,这个数据已经说明问题了。

「Anticipatory Routing」——给旧参数换了个好听名字?

Susan Zhang 没有停在第一条。她紧接着发了跟帖,把矛头对准了论文里给出的核心解决方案之一:Anticipatory Routing。

这个方案说白了是这样的:在训练的第 t 步,用当前参数做特征计算,但 routing(路由决策)用的是历史参数——也就是几步之前的旧参数。当 loss spike 出现时,触发短暂回滚,临时开启这个模式。

Susan Zhang 的评价相当刻薄:

"'anticipatory routing' is an amazing way to sell using stale params"

「所谓 anticipatory routing,说到底就是在给'用旧参数兜底'重新包装一个好听名字。」

Susan Zhang 对 anticipatory routing 的评价

▲ Susan Zhang 跟帖:「用 stale params 还说得这么好听」,119 个赞

她进一步补充:用过时的、不匹配的参数来"解决"不稳定性,这本身就是一件很奇怪的事。

然后,Google 的 Lucas Beyer(@giffmana)也加入了讨论。他的反应更直接:

"Wut!? I (and i believe many many others) could have told them rewinds not gonna work for long runs..."

「啥?!我(相信很多人也一样)早就能告诉他们,rewind 对长时间训练根本行不通……」

Lucas Beyer 的回复

▲ Google 研究员 Lucas Beyer 回复:「回退对长训练根本行不通」,65 个赞

他还补了一刀:这段论文描述暗示,rewind 可能就是之前版本"稳定化"训练的主要手段。

到这一步,质疑已经从"一个人翻论文",变成了多位业内研究员逐段拆解技术报告。

论文自己也承认:为什么有效,理论上还没讲清楚

DeepSeek 在论文里给出了两个核心稳定性方案:

第一个,Anticipatory Routing——就是前面说的,用历史参数做路由决策,把计算网络和路由网络的同步更新解耦。官方数据显示,这个机制开启时,wall-clock 开销大约增加20%。

第二个,SwiGLU Clamping——把激活函数的线性分量 clamp 到 [-10, 10],gate 上界 cap 到 10,强行压住异常值。

这两个方案管用吗?从结果看,V4 确实训练完了,benchmark 也打出来了。但论文里有一句话,读完让人很难彻底放心:

"Although a comprehensive theoretical understanding of their underlying mechanisms remains an open question for now, we are sharing them openly to foster further exploration by the community."

「虽然对这些方法底层机制的全面理论理解目前仍是一个开放问题,但我们选择公开分享,以促进社区的进一步探索。」

翻译成大白话:能跑通,但我们自己也不完全清楚为什么能跑通。

这句话同时也是 DeepSeek 值得尊敬的地方——大多数闭源公司遇到这种问题,根本不会写进论文里。DeepSeek 至少把问题和方案都摊在了桌面上。

两个平行宇宙:产品圈在狂欢,论文圈在拆弹

最有意思的地方在于,同一个 V4,正在被两套完全不同的评价体系同时审视。

在产品和开发者社区,评价标准很简单:够不够强、够不够便宜、能不能替代现有的闭源订阅。答案似乎都是"够了"。HN 上有人算过,就算重度使用,每月成本也就 30-70 美元,还能缓存到 4000 万 token——这个价格打 GPT-5.5 的 $200 订阅,打得相当狠。

在技术研究圈,评价标准完全不同:你说你训完了,行,loss curve 给我看看?spike 出现过几次?rollback 触发了多少次?那个 20% 额外开销的 anticipatory routing,到底开了多久?

这两个圈子的评价函数完全不重叠,所以他们看到的是两个完全不同的故事。

产品圈看到的是:DeepSeek 又甩出一张大牌,开源生态的好日子又来了。

论文圈看到的是:这牌确实大,但你别把"能训完"说成"训练稳定性已经彻底突破"。

所以,V4 到底行不行?

从目前的证据看,最诚实的回答大概是这样的:

V4 显然训完了,结果也确实很强。1.6 万亿参数、百万上下文、华为芯片适配、价格碾压级——这些都是实打实的。

但训练过程中确实出现了明显的不稳定。这一点由 DeepSeek 官方论文白纸黑字确认,简单回滚不够用,需要额外的工程机制才能压住。

更准确地说,V4 的训练稳定性更像是"靠工程补丁兜住",还没有从理论上被优雅地解决。DeepSeek 自己也承认,这些方法为什么有效,理论上还是开放问题。

这两件事可以同时成立。DeepSeek 的强大和它在训练稳定性上还有未解问题,并不矛盾。

真正让这件事值得关注的,其实是更深一层的行业信号:当万亿参数 MoE 模型的训练规模继续往上推,稳定性会成为所有玩家都绕不开的硬墙。DeepSeek 只是第一个把这面墙公开展示出来的。

下一个撞上这面墙的,会是谁?


— END —

— END —

【声明】内容源于网络
0
0
未来跃迁
1234
内容 602
粉丝 0
未来跃迁 1234
总阅读2
粉丝0
内容602