AI模型库 · 今日一模
DeepSeek V4 Pro
「V4.1 Pro 灰测」传闻 · 私榜 32/50 vs 24/50 · 截图辟谣
辟的是名字 · 数字还要自己验
11 月 8 日早上 7 点半,LobeHub 的 Max For AI 在 X 上发帖:「DeepSeek V4.1 Pro 疑似已经开始灰度,实测能力暴涨」。附图是他们自家的私有评测 LobeBench Hard 50:官网现在的 V4 Pro,50 题过了 32 题,64%;8 月 13 日的 0813 版过了 24 题,48%。到 9 日早上,这条帖子的浏览量已经超过 13 万。
当天中午,又一张截图传开了。「DeepSeek企业咨询 @深度求索」发了一句话:辟谣:DeepSeek V4.1 Pro灰测为假消息。 DeepSeek 的 API 更新日志,最新一条还停在 10 月 17 日。
我的判断是:被辟谣的是「V4.1 Pro」这个名字,那组数字并没有被否认;可那组数字本身,也撑不起「能力暴涨」四个字。 两件事得分开看。混在一起,就会从「偷偷升级」直接跳到「全是谣言」,两头都会看错。
01
PART
那张图到底说了什么
THE CHART
LOBEBENCH HARD 50 · 图上数字
· 当前 V4 Pro(默认参数):三次全过 32/50 = 64%|至少一次 82%|每题约 0.06 美元
· 0813 版(默认参数):三次全过 24/50 = 48%|至少一次 80%
· 榜单:18 个参赛者 · 20 次完整跑 · 取每个模型最好的一次
图上的排名规则写得很明白:每个模型取「整套题最好的一次完整跑」,按「三次尝试全部通过」的题数排名。
问题出在第二列。如果三次里过一次就算数,两个版本是 82% 对 80%,换成题数是 41 对 40,只差一道。8 道题的差距,全部来自「连着三次都做对」。作者自己的解读也是这个:复杂任务上的执行稳定性明显提升。
这个解读站得住,它的边界也就在这里。同一批题,旧版本本来就会做,现在只是失手更少了。说它「更稳了」可以,说「能力暴涨」就说过头了。
对做 Agent 的人来说,「更稳」其实比「更强」更值钱:一条十几步的链路,中间只要失手一步就得重来。如果这个变化能被别人复现,意义不小。只是眼下,它还停在「如果」。
02
PART
为什么还不能当发布看
NOT A RELEASE
第一,50 题太少。 按最简单的二项分布粗算,通过率在五六成的时候,50 题跑一轮,结果本身就会上下浮动 7 个百分点左右;两轮相减,16 个点还不到两倍的浮动。这个数够让人好奇,但还不够下结论。
第二,看图底部那行小字:18 个参赛者,20 次完整跑。 也就是说,至少有一个模型跑了不止一次,而榜单取的是最好的那次。到底是哪个模型多跑了,图上看不出来。
第三,题是私有的,外人复现不了。 LobeHub 做 Agent 产品,用自己的任务测模型,对他们自己选型很有用;可一旦拿到公开场合,它就只是一家的体感,外加一组别人没法复核的数字。
反过来,辟谣也只回答了一个问题。截图里那句话说的是「V4.1 Pro 灰测」是假消息,并没有说现网的 V4 Pro 有没有调过。网上不少转述还多了一句「V4.1 Pro 尚在训练」,这句在流传的截图里我没有看到,先别当真。官网新闻和 API 日志,目前都没有对应的条目。
所以比较准确的说法是:V4.1 Pro 没有在灰测;现网 V4 Pro 到底变没变,还没有人拿出能复现的证据。
03
PART
自己验:20 题、3 次、两个数
DIY CHECK
如果你的产品正接着 deepseek-v4-pro,与其等别人晒图,不如花一个下午,搭一套自己的回归题。LobeBench 的拆法可以直接照抄:
-
1. 先翻日志。 打开 DeepSeek API 文档的 Change Log 页。它以往换模型都会写一条,比如 10 月 17 日那次,就写明 deepseek-flash 换成了 V4.1-Flash-1017、调用方式不变。没有新条目,就别改生产路由。 -
2. 挑 20 道真题。 从自己的线上日志里挑,工具调用和长链路任务优先,每道先写好怎样算「做对」。 -
3. 参数写死。 model 名、是否开 thinking、reasoning_effort(官方现在给 low / high / max 三档)、温度,每次都保持一样。 -
4. 每题跑 3 次,记两个数。 三次全过的有几道,至少过一次的有几道。 -
5. 隔天同一时段再跑一轮。 两轮都涨,而且涨在「三次全过」上,才说明你这边的线上模型确实更稳了。
顺手省点钱:DeepSeek 从 8 月起按峰谷计价,低峰价只有高峰价的一半,回归测试放在低峰跑就行。
20 题乘 3 次,一共 60 次调用,一个下午就能跑完。跑完之后,你手里的数会比任何一张截图都可靠,因为题是你自己的业务。
04
PART
下次再刷到「偷偷升级」
NEXT TIME
DeepSeek 这一年的节奏,基本是先写更新日志、再放模型卡,9 月 10 日的 V4.1 Flash、10 月 17 日的 Flash-1017 都是这样。9 月那条日志还写着,V4.1 Flash 是新架构家族里最小的一个,更大的型号按理还在后面。按以往的习惯,它真来的时候,日志里应该会有一条。
下次再刷到「某某模型偷偷升级」,先问三句:官方日志里有没有这一条?证据用的是公开题还是私有题?涨的是哪一个数?三句都答得上来,再决定要不要改代码。
这篇适合转给团队里管模型选型、正把 V4 Pro 往 Agent 里接的那位同事。
QUIZ · 自测:这张图你能挑出几处要打折的地方?
· 1) 排名按「三次全过」算,「至少一次」两版只差 1 题
· 2) 每个模型取最好的一次完整跑,而 18 个参赛者一共跑了 20 次
· 3) 50 题跑一轮,本身就有 7 个点左右的浮动
· 4) 题是私有的,外人复现不了
· 5) 辟谣针对的是「V4.1 Pro 灰测」,没说 V4 Pro 有没有调
五条都想到了的,评论区报个分。你线上接的是 V4 Pro 还是 Flash,这两天手感有变化吗?
出处:@MaxForAI X 帖及附图(11 月 8 日);DeepSeek API Change Log(截至 11 月 9 日);X 流传截图「DeepSeek企业咨询」(11 月 8 日)。
往期 · 接着看
DeepSeek发Flash-1017:API名字没变,自报终端题42.3(旧31.2)
Kimi K3.1 Pro权重卡点放出:1.56TB,8张H200都装不下
美团LongCat-2.5说介于Opus 4.8和5之间:对Opus 5赢10项输17项,权重还没放
觉得有用的话,欢迎点赞、收藏、评论。
THANKS FOR READING





