小米罗福莉：MiMo-V2.5如何做到又快又强又便宜？ | ICML 2026

当行业深陷参数竞赛时，MiMo 选择了两个被忽视的智能维度：上下文长度与推理速度。

作者丨陈淑瑜

编辑丨岑峰

2026 年 7 月，顶级学术会议 ICML 正式召开。小米 MiMo 团队负责人罗福莉发表主题演讲，系统阐述了 MiMo-V2.5 系列如何通过“架构 - 训练 - 推理”的端到端协同设计，解决大模型领域“强推理”与“高效率”天然互斥的痛点。

传统观点认为，强大的推理能力依赖长注意力机制和庞大 KV 缓存，而效率要求压缩计算存储。MiMo 团队跳出调和矛盾的固有思路，成功将“聪明、快速、便宜”三个目标同时实现。

预训练：极致稀疏架构降低成本

针对长文本导致的算力与显存暴涨，MiMo 进行了两代架构演进：

• MiMo-V2.5：引入“混合滑动窗口注意力”机制。凭借 7:1 的极端稀疏比、128 token 超小窗口及可学习的注意力沉没值（Attention Sink），将算力消耗（FLOPs）和 KV 缓存压缩了 7 倍。
• 下一代 MiMo-V3：推出"High Sparse（高维稀疏）”架构，将稀疏比推至 11:1。该架构让少量全局全注意力层充当“先知”，为后续稀疏层筛选关键 token 并跨层共享 KV 缓存。

实验表明，在 11:1 极端稀疏下，传统方案会导致 MMLU 得分暴跌，而 High Sparse 能在所有基准测试中匹配甚至超越全注意力模型。罗福莉指出，不少于 3 层的全注意力层是长上下文的基石，在此基础上稀疏比仍可通过工程优化继续推高。

后训练：无损融合专家能力

在对齐阶段，MiMo 贡献了两项核心算法：

• MOPD（多教师在线策略蒸馏）：通过极简公式实现数学、代码等多领域专家模型能力向单个学生模型的无损融合，摒弃了传统繁琐流程，避免能力折损。
• R3（推理路由回放）：针对 MoE 架构在强化学习训练中易崩溃的痛点，R3 通过在训练前向传播时强制回放推理侧的专家选择，固定路径同时保持路由器动态更新。该方法将 KL 散度差距降至稠密模型水平，实现了训练全程零崩溃。

推理加速：万亿参数模型跑出 1000 TPS

团队成员曹士杰展示了 Ultra Speed 的上线数据。依托 dFlash 推测解码、FP4 量化及基于上下文长度的 bucket 分配策略，万亿参数模型在通用 GPU 上实现了 1000 TPS 的生成速度。

该服务上线一个月即吸引超 10 万用户申请，在金融、医疗等行业需求旺盛。曹士杰强调，在手术等关键场景中，AI 速度的提升可能直接挽救生命，速度不仅是基准测试分数，更是核心价值。

这种“三位一体”的系统级协同，正是 MiMo 在当前大模型竞争中保持核心竞争力的根本原因。

01

超越参数竞赛：MiMo 的三维智能观

罗福莉：大家好，我是 MiMo 团队负责人罗福莉。今天我将介绍 MiMo-V2.5 系列，以及我们如何在架构、训练和推理三个层面进行协同设计，构建既聪明、又快、又便宜的大模型。

除了主流的“扩展参数规模”，我们更关注两个被忽视的维度：上下文长度与推理速度。我们将上下文从 256K 拓展至 100 万 token，目标是无限上下文；同时在万亿参数规模下，将生成速度从每秒 100 token 提升至 1000 token。

为实现上述目标，我们采取了以下措施：

• 协同设计：从混合滑动窗口注意力演化出混合稀疏注意力等高效架构，大幅降低 API 价格。
• 上下文管理：在开源推理框架 vLLM 中设计无损上下文管理和持久化记忆系统。

今年三月发布的 MiMo-V2 Pro 拥有万亿参数和 100 万 token 上下文。自 API 降价以来，MiMo-V2.5 调用量稳居前列，验证了开发者对高性价比快速模型的青睐。

在 Artificial Analysis Intelligence Index 最新排名中，MiMo-V2.5 Pro 已与 Kimi K2.6 和 DeepSeek V4 处于同一梯队。

技术突破主要集中在三个方向：

1. 预训练：从混合滑动窗口注意力升级为 High Sparse 结构，由全注意力层筛选关键 token 并共享 KV 缓存。
2. 后训练：提出 MOPD 实现多教师能力无损合并，利用 R3 解决 MoE 强化学习不稳定难题。
3. 推理：构建专用推理管线，结合 FP4 量化和 dFlash 实现每秒 1000 token 生成速度。

02

预训练：从混合滑动窗口到 High Sparse

MiMo-V2 采用混合滑动窗口注意力，由滑动窗口层与全局注意力层交替构成，并包含三层 MTP。通过引入可学习的注意力 sink 偏置和极端稀疏比，打破了 128 token 小窗口的限制。

在参数设置上，万亿参数的 Pro 版本仅有 10% 的层使用全注意力，且全面采用 GQA。这种设计将注意力 FLOPs 和 KV 缓存降低了 7 倍，序列越长优势越明显。对比主流模型，MiMo 在 KV 缓存效率上仅次于 DeepSeek V3。

为进一步突破，MiMo-V3 采用 High Sparse 架构。其核心思想是复用全注意力层产生的分数来选择重要 token，供后续稀疏层使用，并实现跨层 KV 共享。在 800 亿参数规模上，稀疏比成功推至 1:11。

该架构的成功归功于三项设计：

• 指令式选择：直接复用 FlashAttention 产生的 block 级别分数，无额外开销。
• 跨层 KV 共享：稀疏层直接共享全注意力层 KV 缓存，内存占用降低 10 倍。
• Block 级别 Token 选择：支持容量动态配置。

实验显示，在 1:11 极端稀疏比下，High Sparse 在所有基准测试上均能匹配甚至超越全注意力模型，而传统混合滑动窗口会出现性能崩溃。

03

后训练：MOPD 与 R3——融合多教师能力，驯服 MoE

为扩展计算规模，MiMo 提出了 MOPD 和 R3 两项工作。

MOPD（多教师在线策略蒸馏）解决了多领域专家能力合并难题。通过“教师 log 概率减去学生 log 概率”的极简公式，直接嵌入标准 PPO 或 GRPO 框架。其优势在于信号密集、架构轻量化（无需额外奖励模型）及极强的扩展性。

R3（推理路由回放）解决了 MoE 训练中路由决策不一致导致的崩溃问题。R3 在 rollout 阶段记录推理引擎的专家选择，并在训练前向传播中强制回放相同的 top-k mask，同时允许门控权重基于训练 logits 重新计算。这使得训练阶段的专家选择与推理阶段完全对齐，KL 散度差距降至稠密模型水平，训练全程平稳。

04

推理加速：万亿参数模型的 1000 TPS 突破

曹士杰：我们发布了 MiMo-V2.5 Pro Ultra Speed。这是一款基于万亿参数 Pro 模型的生产级服务，首次在通用 GPU 上实现每秒 1000 token 的生成速度。

测试显示，Ultra Speed 完成复杂代码任务仅需 12 秒，而普通 API 需 6 分钟。其特点包括：

1. 硬件零门槛：运行于通用常规 GPU。
2. 生产级服务：线上稳定运行，Web 端免费。
3. 极高性价比：API 价格微增，速度提升 10 至 20 倍。

在大模型服务中，Ultra Speed 定位为解决紧急状况的“救护车”，而非追求吞吐量的“公交车”。上线一个月，超 10 万用户申请，留存率显著高于标准服务。在医疗等场景，几秒的速度提升可能挽救生命。

05

总结：架构 - 训练 - 推理的“三位一体”协同

罗福莉：MiMo 的解题思路是“架构 - 训练 - 推理”三层技术栈的端到端协同。预训练层面实现 High Sparse 架构演进；后训练层面通过 MOPD 和 R3 攻克能力融合与稳定性难题；推理层面依托量化与工程优化实现速度突围。三者相辅相成，构成了 MiMo 的核心竞争力。

06

Q&A 问答环节

听众 A：全注意力层数量会否成为瓶颈？1:11 稀疏比是否最优？

罗福莉：全注意力层是长上下文性能的基石，通常不能少于 3 层。稀疏比本身不是限制，可通过细化 Token 选择等工程手段继续推高。

听众 B：模型在短上下文任务表现如何？

罗福莉：High Sparse 架构在短文本下不会退化，因为全注意力层完整覆盖了短序列。我们在研发中对长短上下文同等重视。

听众 C：High Sparse 是否增加推理重构压力？推测解码针对不同长度定制效果如何？

曹士杰：High Sparse 直接复用全注意力层信息，不增加额外工程负担。针对超长上下文（如编程场景）定制的 dFlash 模型，Token 接受率可达极高效率；通用 Chat 场景则维持合理水平。

听众 D：相比线性注意力（Linear Attention），MiMo 的选择有何优势？

罗福莉：线性注意力在短上下文表现优异，但在超长上下文及复杂推理上与自注意力机制存在代差。混合稀疏注意力保留了全局建模能力，内存效率逼近线性注意力，且在长文本推理中综合表现最优。

听众 E：能否支持高并发工业场景？

曹士杰：可以。系统引入了基于上下文长度的 bucket 动态分配策略，针对不同业务桶匹配专属 dFlash 模块，兼顾吞吐量与响应速度。

听众 F：MOPD 如何应对长周期任务中的分布偏移？

罗福莉：可通过引入启发式 KL 散度约束，动态过滤偏离过大的数据，维持学生与教师模型分布一致。工业界的数据过滤机制能让 MOPD 在长周期任务中稳定运行。

听众 G：KV 完全共享下，Query 在不同层间是否有显著分布偏移？

曹士杰：实证观察显示，相邻层注意力模式高度相似，这是跨层共享的底气。目前未观察到需要专门处理的微观分布演变问题。

听众 H：为何坚定选择 MXFP4 量化？

曹士杰：MXFP4 在 NVIDIA Blackwell 架构上有原生硬件支持，能直接享有底层算力加速，无需编写自定义 Kernel。这对线上生产部署的效率至关重要。

听众 I：混合滑动窗口成功的关键是序列长度起点吗？

罗福莉：关键在于 Attention Sink 的引入及其在大规模训练中的稳定更新机制，而非初始序列长度。

听众 J：长上下文 RL 训练有何不同？

罗福莉：长上下文 RL 面临奖励信号稀疏的挑战。R3 技术通过 align 训练与推理路由，斩断了不稳定性源头，发挥了关键作用。

听众 K：长序列下位置编码如何处理？滑动时是否重置？

罗福莉：滑动窗口注意力的 RoPE theta 参数在训练期间保持冻结。全注意力层在纵向扩展时需微调。

曹士杰：训练收敛后，RoPE theta 及所有权重在推理期间完全静态。即使窗口滑动，位置编码索引也是持续累加递增的，保持一致性与连续性。