今日凌晨,月之暗面在Hugging Face公开了Kimi K3.1 Pro的模型权重及完整架构信息,该模型在Agent Arena榜单上位列开放模型第一名。
这款总参数量达到2.8万亿的模型,在延续前代核心架构的基础上,进一步优化了长上下文处理效率。
其中,最值得关注的一项变化是,Kimi K3.1 Pro直接引入DeepSeek提出的稀疏注意力机制DSA(DeepSeek Sparse Attention),将原有24层全注意力结构替换为Gated DSA。

从具体架构来看,Kimi K3.1 Pro采用69层Kimi Delta Attention(KDA)与24层Gated DSA组成的混合注意力结构,共93层,注意力隐藏维度为7168,配置96个注意力头。
其中,KDA通过压缩历史信息的状态表示,减少处理长序列时的存储开销;Gated DSA则通过稀疏检索,在部分注意力层中保留对重要历史Token进行精确计算的能力。
两者结合,让模型既能高效处理长序列,又能在需要时从大量历史信息中找出关键内容。
根据vLLM团队11月4日发布的技术分析,在长上下文解码场景下,Kimi K3.1 Pro采用DSA后,相关注意力层的内存读取量可降至原有稠密MLA方案的约23%。
除了引入DeepSeek DSA,Kimi K3.1 Pro还延续了月之暗面在超大规模模型计算效率上的优化设计。
模型采用混合专家架构(MoE),总参数量达到2.8T,但每个Token实际激活约104B。
具体来看,模型配置了896个路由专家,每个Token选择16个专家参与计算,同时设置2个共享专家。MoE潜在维度为3584,每个专家的隐藏维度为3072。
在网络结构上,Kimi K3.1 Pro还采用了SiTU-GLU激活函数,并配置1个稠密层。模型词表规模达到16万,以支持大规模文本建模。
在模型存储和计算精度方面,Kimi K3.1 Pro采用MXFP4权重量化与MXFP8激活值配置,并结合量化感知训练。
在多模态方面,Kimi K3.1 Pro搭载了拥有约401M参数的MoonViT-V2视觉编码器,支持文本与图像输入。
同时,模型提供最高1048576 Token的上下文窗口,能够处理超长文档、复杂代码仓库以及结合图像信息的多模态任务。
除了底层架构优化,月之暗面还披露,Kimi K3.1 Pro基于Kimi K3,通过覆盖数百个下游领域的大规模联合强化学习完成后训练,重点提升了编程、3D创作、金融研究和事实准确性等Agent任务能力。
从整体来看,Kimi K3.1 Pro的技术路线并非继续扩大参数规模,而是围绕稀疏注意力、混合专家、低精度量化和多模态能力,进一步优化超大规模模型的计算与部署效率。
对于DeepSeek而言,DSA被Kimi这样的国产头部模型正式采用,也意味着其开源架构开始在更多前沿模型中得到实际应用。
国产大模型的技术竞争也正在从单纯比拼参数和性能,走向更深层次的架构创新与开源技术复用。
END
关注+星标,获取AI前沿进展与开源一线动态

