大数跨境

DeepSeek辟谣V4.1 Pro灰测:那张64%的图,“至少一次”只差1题

DeepSeek辟谣V4.1 Pro灰测:那张64%的图,“至少一次”只差1题 AI模型库
2026-11-09
10
导读:LobeBench私榜:现网V4 Pro三次全过32/50,0813版24/50;至少一次82%对80%。企业咨询截图称V4.1 Pro灰测为假消息。附20题×3次自测法。

AI模型库 · 今日一模

DeepSeek V4 Pro

「V4.1 Pro 灰测」传闻 · 私榜 32/50 vs 24/50 · 截图辟谣

辟的是名字 · 数字还要自己验

11 月 8 日早上 7 点半,LobeHub 的 Max For AI 在 X 上发帖:「DeepSeek V4.1 Pro 疑似已经开始灰度,实测能力暴涨」。附图是他们自家的私有评测 LobeBench Hard 50:官网现在的 V4 Pro,50 题过了 32 题,64%;8 月 13 日的 0813 版过了 24 题,48%。到 9 日早上,这条帖子的浏览量已经超过 13 万。

当天中午,又一张截图传开了。「DeepSeek企业咨询 @深度求索」发了一句话:辟谣:DeepSeek V4.1 Pro灰测为假消息。 DeepSeek 的 API 更新日志,最新一条还停在 10 月 17 日。

我的判断是:被辟谣的是「V4.1 Pro」这个名字,那组数字并没有被否认;可那组数字本身,也撑不起「能力暴涨」四个字。 两件事得分开看。混在一起,就会从「偷偷升级」直接跳到「全是谣言」,两头都会看错。

01

PART

 

那张图到底说了什么

THE CHART

@MaxForAI 11 月 8 日帖子附图:LobeBench Hard 50(LobeHub 私有评测)
@MaxForAI 11 月 8 日帖子附图:LobeBench Hard 50(LobeHub 私有评测)

LOBEBENCH HARD 50 · 图上数字

· 当前 V4 Pro(默认参数):三次全过 32/50 = 64%|至少一次 82%|每题约 0.06 美元

· 0813 版(默认参数):三次全过 24/50 = 48%|至少一次 80%

· 榜单:18 个参赛者 · 20 次完整跑 · 取每个模型最好的一次

图上的排名规则写得很明白:每个模型取「整套题最好的一次完整跑」,按「三次尝试全部通过」的题数排名。

问题出在第二列。如果三次里过一次就算数,两个版本是 82% 对 80%,换成题数是 41 对 40,只差一道。8 道题的差距,全部来自「连着三次都做对」。作者自己的解读也是这个:复杂任务上的执行稳定性明显提升。

这个解读站得住,它的边界也就在这里。同一批题,旧版本本来就会做,现在只是失手更少了。说它「更稳了」可以,说「能力暴涨」就说过头了。

对做 Agent 的人来说,「更稳」其实比「更强」更值钱:一条十几步的链路,中间只要失手一步就得重来。如果这个变化能被别人复现,意义不小。只是眼下,它还停在「如果」。

02

PART

 

为什么还不能当发布看

NOT A RELEASE

像素卡:名字和数字,两件事分开看
像素卡:名字和数字,两件事分开看

第一,50 题太少。 按最简单的二项分布粗算,通过率在五六成的时候,50 题跑一轮,结果本身就会上下浮动 7 个百分点左右;两轮相减,16 个点还不到两倍的浮动。这个数够让人好奇,但还不够下结论。

第二,看图底部那行小字:18 个参赛者,20 次完整跑。 也就是说,至少有一个模型跑了不止一次,而榜单取的是最好的那次。到底是哪个模型多跑了,图上看不出来。

第三,题是私有的,外人复现不了。 LobeHub 做 Agent 产品,用自己的任务测模型,对他们自己选型很有用;可一旦拿到公开场合,它就只是一家的体感,外加一组别人没法复核的数字。

反过来,辟谣也只回答了一个问题。截图里那句话说的是「V4.1 Pro 灰测」是假消息,并没有说现网的 V4 Pro 有没有调过。网上不少转述还多了一句「V4.1 Pro 尚在训练」,这句在流传的截图里我没有看到,先别当真。官网新闻和 API 日志,目前都没有对应的条目。

所以比较准确的说法是:V4.1 Pro 没有在灰测;现网 V4 Pro 到底变没变,还没有人拿出能复现的证据。

03

PART

 

自己验:20 题、3 次、两个数

DIY CHECK

如果你的产品正接着 deepseek-v4-pro,与其等别人晒图,不如花一个下午,搭一套自己的回归题。LobeBench 的拆法可以直接照抄:

像素卡:自建回归集五步
像素卡:自建回归集五步
  • 1. 先翻日志。 打开 DeepSeek API 文档的 Change Log 页。它以往换模型都会写一条,比如 10 月 17 日那次,就写明 deepseek-flash 换成了 V4.1-Flash-1017、调用方式不变。没有新条目,就别改生产路由。
  • 2. 挑 20 道真题。 从自己的线上日志里挑,工具调用和长链路任务优先,每道先写好怎样算「做对」。
  • 3. 参数写死。 model 名、是否开 thinking、reasoning_effort(官方现在给 low / high / max 三档)、温度,每次都保持一样。
  • 4. 每题跑 3 次,记两个数。 三次全过的有几道,至少过一次的有几道。
  • 5. 隔天同一时段再跑一轮。 两轮都涨,而且涨在「三次全过」上,才说明你这边的线上模型确实更稳了。

顺手省点钱:DeepSeek 从 8 月起按峰谷计价,低峰价只有高峰价的一半,回归测试放在低峰跑就行。

20 题乘 3 次,一共 60 次调用,一个下午就能跑完。跑完之后,你手里的数会比任何一张截图都可靠,因为题是你自己的业务。

04

PART

 

下次再刷到「偷偷升级」

NEXT TIME

DeepSeek 这一年的节奏,基本是先写更新日志、再放模型卡,9 月 10 日的 V4.1 Flash、10 月 17 日的 Flash-1017 都是这样。9 月那条日志还写着,V4.1 Flash 是新架构家族里最小的一个,更大的型号按理还在后面。按以往的习惯,它真来的时候,日志里应该会有一条。

下次再刷到「某某模型偷偷升级」,先问三句:官方日志里有没有这一条?证据用的是公开题还是私有题?涨的是哪一个数?三句都答得上来,再决定要不要改代码。

这篇适合转给团队里管模型选型、正把 V4 Pro 往 Agent 里接的那位同事。

QUIZ · 自测:这张图你能挑出几处要打折的地方?

· 1) 排名按「三次全过」算,「至少一次」两版只差 1 题

· 2) 每个模型取最好的一次完整跑,而 18 个参赛者一共跑了 20 次

· 3) 50 题跑一轮,本身就有 7 个点左右的浮动

· 4) 题是私有的,外人复现不了

· 5) 辟谣针对的是「V4.1 Pro 灰测」,没说 V4 Pro 有没有调

五条都想到了的,评论区报个分。你线上接的是 V4 Pro 还是 Flash,这两天手感有变化吗?


出处:@MaxForAI X 帖及附图(11 月 8 日);DeepSeek API Change Log(截至 11 月 9 日);X 流传截图「DeepSeek企业咨询」(11 月 8 日)。

往期 · 接着看

DeepSeek发Flash-1017:API名字没变,自报终端题42.3(旧31.2)

Kimi K3.1 Pro权重卡点放出:1.56TB,8张H200都装不下

美团LongCat-2.5说介于Opus 4.8和5之间:对Opus 5赢10项输17项,权重还没放

AI我是「AI模型库」,每天挑一个最值得看的 AI 模型,讲清楚它能干嘛、坑在哪。

觉得有用的话,欢迎点赞、收藏、评论。

赞
在看
收藏

THANKS FOR READING

【声明】内容源于网络
0
0
AI模型库
企业AI模型训练,精选行业优秀项目,定制企业机器人助手!写新AI
内容 63
粉丝 0
AI模型库 企业AI模型训练,精选行业优秀项目,定制企业机器人助手!写新AI
总阅读1.4k
粉丝0
内容63