大数跨境

商汤开源9B说能打27B:8项赢6项,输在终端题,原版要下38GB

商汤开源9B说能打27B:8项赢6项,输在终端题,原版要下38GB AI模型库
2026-11-02
1
导读:商汤SenseNova-Loop-9B自报媲美27B:8项对比赢6项,终端题和银行客服题输了。官方仓库约38GB,社区Q4约5.6GB但要补丁版llama.cpp。

AI模型库 · 今日一模

SenseNova-Loop-9B

商汤 · 9B 循环模型 · 图文输入 · Apache-2.0

自报对 27B:8 项赢 6 项,输在终端题

10月30日,商汤把 SenseNova-Loop-9B-Preview 放上了 Hugging Face,Apache-2.0 许可,可商用。官方给的说法很直接:9B 的参数,媲美 27B 的模型。

我把模型卡里那张 8 项评测图逐格看了一遍。拿它和图里的 Qwen3.5-27B 一对一比,Loop-9B 赢了 6 项,输了 2 项。输的是终端任务 Terminal Bench 2.1(40.45 比 47.19)和银行客服场景 τ³-Banking(18.56 比 19.59)。赢面最大的一项 RaccoonPPTBench,图下脚注写着是商汤内部自研的评测。

本号的判断:这个 9B 值得下载试,但别按「27B 平替」去用。它省的是显存和存储,算力并没有按 9B 算;分数全是商汤自报,偏向办公、PPT、数据分析,写代码跑终端反而是短板。

SenseNova-Loop 结构示意(出处:商汤 SenseNova-Loop-9B-Preview 模型卡,Hugging Face)
SenseNova-Loop 结构示意(出处:商汤 SenseNova-Loop-9B-Preview 模型卡,Hugging Face)

01

PART

 

9B 怎么当 27B 用:同一段层跑两遍

LOOP

像素卡:32 层存储、24 层跑两遍(据模型卡)
像素卡:32 层存储、24 层跑两遍(据模型卡)

Loop 的意思是循环。模型一共 32 层解码器,第 4 到第 27 层这 24 层共用一套权重,一次前向要跑两遍。所以存下来的是 32 层,实际算了 56 层。

模型卡写得很老实:主干约 9B 参数,「推理参数」约 14.6B。翻成大白话:硬盘和显存按 9B 付,每生成一个字的计算量更接近 14.6B 的模型。想拿它换速度,得先接受这一点。

循环部分还加了一个叫 mHC 的结构,用两条残差流来回传信息。商汤做了消融:加上 mHC 后,GPQA Diamond 提高 4.42 分,TeamBench 提高 13.34 分。技术报告目前还写着 TBD。

02

PART

 

8 项对比,赢在哪输在哪

SCORES

官方 8 项评测图(出处:商汤模型卡,自报;RaccoonPPTBench 为内部评测)
官方 8 项评测图(出处:商汤模型卡,自报;RaccoonPPTBench 为内部评测)
像素卡:与 Qwen3.5-27B 逐项对比(商汤自报)
像素卡:与 Qwen3.5-27B 逐项对比(商汤自报)

把 8 项和 Qwen3.5-27B 的分数排开看。赢的 6 项:BIRD-Dev 71.38 比 69.84,WorkBuddy Bench 66.89 比 60.53,AIDABench 58.87 比 57.19,TeamBench 48.89 比 44.44,AutomationBench 13.72 比 10.17,RaccoonPPTBench 70.70 比 59.08。

BIRD-Dev 和 AIDABench 都只领先 1.5 分左右。真正拉开的是 PPT 和自动化两项,而 PPT 那项是商汤自己出的题。模型卡首页的效果展示也全是「商汤小浣熊」做的动效、PPT 和数据分析图。这个模型是冲着办公智能体去的,看分数要把这层背景带上。

输的 2 项更值得做开发的人留意。Terminal Bench 2.1 上,Loop-9B 和 Qwen3.5-35B-A3B 都是 40.45,同图里 Nanbeige4.2-3B 拿了 49.44,是这一项的最高分。如果你主要让模型写代码、敲命令,这张图其实在劝你别急着换。

还有一点:对照组是 Qwen3.5、Qwen3.6 这一代。模型 config 里文本部分的类型就写着 qwen3_5_text。10月下旬别家开源模型卡已经拿 Qwen3.8-27B 当对照了,这次没放进来,读分数时心里要有数。

03

PART

 

量化、显存、能不能本机跑

VRAM

像素卡:官方仓库与社区量化体积(BF16 显存为估算)
像素卡:官方仓库与社区量化体积(BF16 显存为估算)

这是评论区每次都问的问题,这次答案分两半。

官方原版不轻。Hugging Face 上 8 个权重分片加起来约 37.7GB,仓库元数据显示大部分参数按 FP32 存储。官方示例用 BF16 单卡加载,按 9.66B 参数乘 2 字节估算,光权重就约 19GB,24GB 显卡是起步线。架构是自定义的,要开 trust_remote_code;vLLM 和 SGLang 都得切到还没合并的 PR 分支,官方 vLLM 示例用的是 4 卡张量并行。

社区量化跟得很快,几天内就有人放出 GGUF:Q4_K_M 约 5.6GB,Q8_0 约 9.5GB,BF16 约 17.9GB。量化者 guideboardlabs 自测,在一张 RX 5700 XT 上跑 Q4_0、4096 上下文,解码约 31.4 token/秒。

坑也写在他们的卡上:原版 llama.cpp 加载不了,必须用打过补丁的分支;这些文本 GGUF 不含视觉部分和 MTP 加速层,想看图要找另带视觉投影文件的版本。所以「8GB 卡能跑」是真的,前提是你愿意自己编译一份魔改 llama.cpp。

04

PART

 

现在怎么动手

CHECKLIST

如果你做办公自动化、PPT 生成、表格问答,这个 9B 值得拉下来跟手上的 27B 对一对,省下的显存可以拿去开长上下文。如果你主要写代码跑终端,先别换,同图里 3B 的 Nanbeige 在终端题上都比它高。

像素清单:选型 5 步
像素清单:选型 5 步
  • 先读卡:Apache-2.0,主干约 9B、推理约 14.6B,技术报告未出
  • 有 24GB 卡:按官方示例 BF16 加载,记得 trust_remote_code
  • 只有 8–12GB 卡:用社区 Q4_K_M(约 5.6GB),配打补丁的 llama.cpp
  • 要看图:选带视觉投影文件的 GGUF,纯文本版不含视觉
  • 拿自家 10 道真实任务对比 27B,办公题和代码题分开记分

你会为了省一半显存,换一个终端题更弱的 9B 吗?等官方量化,还是现在就编译社区版?评论区说说。


出处:商汤 SenseNova-Loop-9B-Preview 模型卡(Hugging Face,2026-10-30)、IT之家(2026-11-01)、AtomicChat / guideboardlabs GGUF 卡;分数均为商汤自报。

往期 · 接着看

微软开源4B电脑Agent:会选点鼠标还是开终端,自报OSWorld 66%

Gemini 4 Carbon拿下榜首:只领先1分,幻觉率从4%涨到11%

Nanbeige4.3-33B上线:BF16约66GB,卡面示例是4卡并行

AI我是「AI模型库」,每天挑一个最值得看的 AI 模型,讲清楚它能干嘛、坑在哪。

觉得有用的话,欢迎点赞、收藏、评论。

赞
在看
收藏

THANKS FOR READING

【声明】内容源于网络
0
0
AI模型库
企业AI模型训练,精选行业优秀项目,定制企业机器人助手!写新AI
内容 49
粉丝 0
AI模型库 企业AI模型训练,精选行业优秀项目,定制企业机器人助手!写新AI
总阅读893
粉丝0
内容49