过去几年，大模型行业的竞争焦点主要集中在参数规模、训练算力及基准测试（Benchmark）成绩上。然而进入2026年，一项曾被忽视的指标——“输出速度”，正逐渐成为衡量模型能力的关键维度。
9月底，OpenAI发布GPT-6.1 Sol并推出Ultrafast高速服务档位；同期，智谱在ZCode中开启GLM-5.3 HighSpeed灰度测试，Fireworks也为DeepSeek V4.1 Flash提供高速推理服务。从美国到中国，全球AI厂商纷纷将“速度”确立为独立的产品竞争力。
速度前沿：单路解码速度的新突破
近日，海外社交网络流传的一份统计图展示了2026年发布的参数量不低于300B的开放权重模型及其部署方案的速度表现。图表以总参数量为横轴，每秒生成Token数为纵轴，勾勒出当前的“速度前沿”。
（来源：X）
处于速度前沿的代表性节点包括：
- Naive-N0.5-Flash（NaiveAI）：约2,000 tokens/s；
- DeepSeek V4.1 Flash（Fireworks部署）：约1,500 tokens/s；
- MiMo-V2.5-Pro UltraSpeed（小米官方）：约1,000 tokens/s；
- Kimi K3（NVIDIA Rubin NVL72部署）：约850 tokens/s。
其中，由清华大学代季峰副教授创办的初创公司NaiveAI表现尤为突出。其309B参数量的Naive-N0.5-Flash模型，在自研推理系统NaiveRT的支持下，实现了单路每秒约2,000 tokens的输出速度。值得注意的是，同一模型在不同部署方案下速度差异巨大，例如Kimi K3在官方服务中速度约为50 tokens/s，而在优化后的Rubin NVL72上则提升至850 tokens/s，这表明专门优化的部署方案对提升速度至关重要。
应用驱动：为何AI越来越需要“快”？
早期聊天机器人场景中，数秒的等待尚可接受。但随着AI编程助手和智能体（Agent）的普及，工作流发生了本质变化。
智能体工作流的累积效应
AI智能体在执行复杂任务（如代码修改、测试、报错分析）时，往往涉及数十次乃至上百次连续的模型调用。这种环环相扣的流程中，单次生成速度的延迟会不断累积。若每次生成耗时从10秒缩短至2秒，整体任务完成时间将从8分钟大幅降至2分钟以内。因此，行业关注点从追求高吞吐量的并发处理，转向了提升单路解码速度（Single-stream Decoding Speed），即单个请求的实时响应能力。
强化学习训练的效率瓶颈
在利用强化学习提升模型数学推理和编程能力的过程中，模型需进行大量的Rollout（轨迹生成）。NaiveAI技术报告指出，在百万Token级别的任务轨迹中，虽然读入工具返回信息速度极快，但生成新内容仅占轨迹总量的20%-40%，却消耗了约95%的运行时间。若将生成速度从100 tokens/s提升至2,000 tokens/s，整条轨迹的耗时可缩短至原来的十分之一。这不仅加快了实验周转，也减少了因模型版本更新导致旧任务失效的风险。
（来源：DeepTech 制图）
此外，更高的速度意味着在用户有限的等待时间内，模型可以尝试更多方案并进行多轮验证，从而提升最终结果的质量。高速推理的价值已从单纯的体验优化，延伸至研发效率提升和应用能力增强。
技术揭秘：如何实现每秒2000 Tokens？
大模型推理速度受限的主要瓶颈在于显存带宽。生成每个Token时需读取模型参数和历史缓存（KV Cache），单路请求难以像批处理那样分摊读取成本。突破这一限制主要依靠模型架构优化、推理系统改进及专用硬件支持。
模型架构：稀疏激活与注意力机制优化
减少每次生成所需读取的数据量是直接提速手段。DeepSeek V4.1 Flash虽总参数达552B，但生成时仅激活约16B参数，并将KV Cache压缩至上一代的四分之一。Naive-N0.5-Flash同样采用混合专家（MoE）架构，总参数309B，激活参数约15.5B。在注意力机制上，NaiveAI结合了滑动窗口注意力（SWA）与稀疏注意力（DSA），以五层SWA配合一层DSA的比例排列，既处理邻近上下文又筛选长序列相关信息，显著降低了长序列计算开销。
图｜Naive-N0.5-Flash采用SWA与DSA混合注意力架构。（来源：Naive AI）
推理系统：推测解码与底层优化
推测解码（Speculative Decoding）是另一项关键技术，通过小模型生成候选Token并由主模型并行验证，减少计算轮次。NVIDIA工程师通过AI智能体优化GPU Kernel并结合推测解码，将Kimi K3在GB300 GPU上的单路速度从488 tokens/s提升至842 tokens/s，增幅达73%。
图｜NVIDIA优化Kimi K3推理路径后速度显著提升。（来源：GitHub）
NaiveAI的NaiveRT系统则进一步聚焦底层执行效率。通过GPU Kernel融合和程序化依赖启动（PDL）技术，减少CPU介入和调度同步开销。测试显示，NaiveRT完成一轮推测解码仅需3.4毫秒，较SGLang降低约72.4%的延迟，最终在8张GPU上实现了最高每秒2122 tokens的单路解码速度。
此外，Cerebras等专用芯片厂商也通过晶圆级芯片的大容量片上存储和高带宽通路，帮助Kimi K2.6实现了每秒981 tokens的输出速度。
商业落地：速度竞赛的成本与未来
随着速度成为核心竞争力，商业模式也在发生变革。
速度定价与成本权衡
OpenAI、Anthropic及小米等厂商已开始为高速服务单独定价，价格通常为普通模式的2至6倍。高速推理往往意味着更少的批处理和更高的算力独占，导致单位成本上升。Gartner分析指出，到2028年，单个智能体工作流的推理成本可能增长五倍以上。因此，企业在追求速度的同时，必须考量整体任务的经济性。
模型路由与分工协作
为平衡速度与成本，NVIDIA推出了NeMo Switchyard模型路由工具，让复杂规划由强模型处理，简单任务交由快且廉价的模型完成。实测显示，该方案可使软件工程任务运行时间缩短33%，成本下降58%。这种动态选择模型的思路，将成为未来智能体系统的主流架构。
递归自我改进（RSI）的新路径
高速推理的另一大价值体现在研发领域。NaiveAI和NVIDIA均利用AI智能体参与GPU Kernel编写和模型优化。NaiveAI研究员与AI在六天内完成了151次优化试验，并开发出世界模型AutoWM，在WorldArena-1评测中取得77.43分的高分。这种“AI辅助AI研发”的模式，通过快速试错和评估，缩短了下一代模型的研发周期，使速度竞争从应用层延伸至技术迭代底层。
图｜Naive-N0.5-Flash参与研发的世界模型AutoWM取得优异成绩。（来源：Naive AI）
综上所述，大模型竞争已进入全栈优化阶段。从模型架构、推理系统到专用硬件，各环节的高效协同决定了最终的输出速度。而更快的速度不仅提升了用户体验，更通过加速科研迭代，成为推动AI技术演进的重要引擎。
参考链接：
1.https://naive.ai/en/research/
2.https://github.com/NaiveAI-Labs/NaiveRT
3.https://developers.openai.com/api/docs/guides/ultrafast-mode
4.https://developers.openai.com/api/docs/models/gpt-6.1-sol
5.https://developers.openai.com/api/docs/changelog
6.https://www.deepseek.com/en/news/deepseek-v4-1-flash/
7.https://fireworks.ai/models/deepseek-ai/deepseek-v4p1-flash
8.https://vllm-project.github.io/2026/10/16/kimi-k3-megakernel.html
9.https://mimo.mi.com/docs/en-US/news/latest/1000tps
10.https://www.gartner.com/en/articles/agentic-ai-next-hurdle-is-cost
运营/排版：何晨龙
注：封面/首图由 AI 辅助生成