10个关键问题Q&A
Q：Loop-9B 是不是 MoE？A：不是 MoE。它是权重共享循环复用，没有专家路由，是稠密模型，只是同一块层跑两遍。
Q：9B 权重为什么推理等效 14.6B？A：因为 24 层循环块前向计算两次，增加计算量、有效深度，但权重不翻倍；不是参数膨胀，是计算复用。
Q：能不能在单张 4090 跑？A：BF16 权重 38G，单卡 4090（24G）原生放不下；需要 TP、KV 缓存量化、或者 AWQ/GPTQ 量化后才能单卡跑。
Q：mHC 是做什么的？A：两条残差流，控制循环两轮之间信息怎么传递融合，防止重复计算后信号漂移、梯度消失，是循环结构的稳定器。
Q：Hybrid Attention 为什么混合线性 + 全注意力？A：线性注意力降低长序列成本，周期性插入全注意力保住复杂推理、强关联捕捉能力，兼顾速度与能力。
Q：和普通 9B 模型最大差异？A：普通 9B：N 层跑一次；Loop-9B：部分层跑两次，计算深度 > 权重层数，能力上限更高，但单 token 计算开销更大。
Q：MTP 对这个模型价值在哪？A：循环结构本身单 token 计算重；MTP 一次解码多 token，摊薄循环计算开销，是它的关键提速手段。
Q：支持图片输入，是哪种多模态方案？A：Image-Text-to-Text，输入文本 + 图片，输出文本；适合 OCR、图表理解、文档图文混合，不支持图生图。
Q：商用是否允许？A：Apache2.0 许可，允许商用、二次分发、微调，保留版权声明即可。
Q：适合拿来做什么、不适合做什么？A：✅ 适合：长文档 Agent、私有化 RAG + 工具调用、图文数据分析、PPT / 报表生成；❌ 不适合：追求极致单 token 吞吐、实时对话高并发场景（未开 MTP 时延偏高）
附录 SenseNova-Loop-9B-Preview 商汤日日新，Apache2.0
商汤 SenseNova 2026.10.30 开源，Looped Transformer 循环解码器多模态模型，9B 权重参数，推理等效 14.6B 计算量，主打长上下文、Agent 工具流、图文理解，商汤宣称在 Agent、文档、PPT、数据分析任务上对标 27B 基座智源社区。
✅ 基础档案
-
名称：SenseNova-Loop-9B-Preview -
出品：SenseNova（商汤日日新） -
许可证：Apache-2.0（商用友好） -
模态：Image-Text-to-Text（图文输入，文本输出） -
权重参数量：9.66B（存储权重） -
推理等效参数量：~14.6B -
权重包大小：38.20GB（Safetensors） -
训练最大上下文：262,144 tokens（256K+） -
词汇表：248,320 -
隐层维度：4096；FFN：12288 -
支持语言：中文、英文 -
开源地址：ModelScope / HuggingFace / OpenSenseNova Github -
典型场景：文档解析、代码、Agent 工具调用、PPT 设计、动效设计、数据分析 
🧠 架构（三大创新，也是这个模型最不一样的地方）
1. Looped Decoder 循环解码器（最核心）
总共有 32 组独立 Decoder 权重层，但前向会跑 56 层计算：
-
0–3 层：前置层，只跑 1 次 -
4–27 层（一共 24 层）：共享权重，连续跑 2 轮 B (B (h)) -
28–31 层：后置层，只跑 1 次
本质：权重不增加，重复执行同一块 Transformer，用计算深度换推理能力，而不是堆参数量，区别于 DeepSeek、Qwen、Llama 传统直堆层方案智源社区
2. Two-stream mHC 双流形约束超连接（Manifold-Constrained Hyper-Connections）
循环块内部维护两条独立残差流，可学习映射控制两条流之间信息路由、融合；用 Sinkhorn 归一化（20 次迭代）约束混合矩阵，避免循环两轮后信息爆炸 / 退化；解决简单循环复用带来的信息震荡、梯度退化问题，是这个循环结构能 work 的关键。
3. Hybrid Attention 混合注意力
4 层一组固定模式：3 层线性注意力 + 1 层全注意力循环块边界对齐这个 4 层分组，两轮循环都保持相同注意力排布；
-
线性注意力：低成本处理超长上下文 -
周期性插入全注意力：保留强局部关联、复杂推理能力
⚙️ 推理加速能力
-
✅ MTP（多 Token 预测）：现已可用，一次解码吐出多个 token，提速 -
⏳ DSpark（草稿模型）：训练中 -
⏳ DFlash2：训练中 -
部署后端原生支持：LightLLM、SGLang、vLLM（都有对应 PR） -
精度：骨干 BF16；mHC 路由参数 FP32
📦 训练与微调
-
训练数据：长文本、图文、代码、Agent 工具轨迹数据 -
SFT 微调：基于 torchtitan，8 卡单节点脚本开箱 -
DPO / MTP / DSpark 草稿模型训练脚本在 SenseSpec 仓库
🖥️ 部署与环境要求
-
验证环境：Transformers==5.18.0，PyTorch 2.11.0 + CUDA13.0 -
必须开启 trust_remote_code=True，模型自带自定义循环 + MHC 实现 -
推理方式：原生 Transformers、LightLLM、SGLang、vLLM -
TP 张量并行推荐：TP=4
📌 优势与短板总结
优势
- 参数效率极高
9B 权重、单卡可尝试加载，推理深度对标大尺寸模型，适合本地 Agent、私有化知识库 - 原生长上下文多模态
256K + 训练上下文，面向文档理解、图文混合 Agent 工作流（PPT、数据分析、Raccoon Work 演示） -
架构创新方向清晰：循环计算 + 双流路由，是一条区别于 MoE、更深单层的 “深度复用路线” -
Apache2.0，权重、推理代码、训练脚本、部署后端全部开源，社区友好
局限
-
目前是 Preview 预览版，技术报告 TBD，完整 benchmark 论文还没放出；性能结论以官方自报为主 -
DSpark、DFlash2 加速方案还在训练阶段，暂不可用 -
循环结构属于自定义代码，推理框架需要适配补丁，不能直接用原生 vLLM/SGLang 主线 -
循环计算会拉高单 token 计算量：显存压力小，但单 token 时延会高于同参普通 9B 模型（MTP 用来对冲这个开销）。