大数跨境

Kimi K3.1 Pro大改注意力机制,引入DeepSeek DSA!

Kimi K3.1 Pro大改注意力机制,引入DeepSeek DSA! 智猩猩AI
2026-11-05
18
导读:Agent Arena榜单上位列开放模型第一名~
智猩猩AI整理
编辑:没方

今日凌晨,月之暗面在Hugging Face公开了Kimi K3.1 Pro的模型权重及完整架构信息,该模型在Agent Arena榜单上位列开放模型第一名。



这款总参数量达到2.8万亿的模型,在延续前代核心架构的基础上,进一步优化了长上下文处理效率。


其中,最值得关注的一项变化是,Kimi K3.1 Pro直接引入DeepSeek提出的稀疏注意力机制DSA(DeepSeek Sparse Attention),将原有24层全注意力结构替换为Gated DSA。



从具体架构来看,Kimi K3.1 Pro采用69层Kimi Delta Attention(KDA)与24层Gated DSA组成的混合注意力结构,共93层,注意力隐藏维度为7168,配置96个注意力头。


其中,KDA通过压缩历史信息的状态表示,减少处理长序列时的存储开销;Gated DSA则通过稀疏检索,在部分注意力层中保留对重要历史Token进行精确计算的能力。


两者结合,让模型既能高效处理长序列,又能在需要时从大量历史信息中找出关键内容。


根据vLLM团队11月4日发布的技术分析,在长上下文解码场景下,Kimi K3.1 Pro采用DSA后,相关注意力层的内存读取量可降至原有稠密MLA方案的约23%。



除了引入DeepSeek DSA,Kimi K3.1 Pro还延续了月之暗面在超大规模模型计算效率上的优化设计。


模型采用混合专家架构(MoE),总参数量达到2.8T,但每个Token实际激活约104B。


具体来看,模型配置了896个路由专家,每个Token选择16个专家参与计算,同时设置2个共享专家。MoE潜在维度为3584,每个专家的隐藏维度为3072。


在网络结构上,Kimi K3.1 Pro还采用了SiTU-GLU激活函数,并配置1个稠密层。模型词表规模达到16万,以支持大规模文本建模。


在模型存储和计算精度方面,Kimi K3.1 Pro采用MXFP4权重量化与MXFP8激活值配置,并结合量化感知训练。


在多模态方面,Kimi K3.1 Pro搭载了拥有约401M参数的MoonViT-V2视觉编码器,支持文本与图像输入。


同时,模型提供最高1048576 Token的上下文窗口,能够处理超长文档、复杂代码仓库以及结合图像信息的多模态任务。


除了底层架构优化,月之暗面还披露,Kimi K3.1 Pro基于Kimi K3,通过覆盖数百个下游领域的大规模联合强化学习完成后训练,重点提升了编程、3D创作、金融研究和事实准确性等Agent任务能力。


从整体来看,Kimi K3.1 Pro的技术路线并非继续扩大参数规模,而是围绕稀疏注意力、混合专家、低精度量化和多模态能力,进一步优化超大规模模型的计算与部署效率。


对于DeepSeek而言,DSA被Kimi这样的国产头部模型正式采用,也意味着其开源架构开始在更多前沿模型中得到实际应用。


国产大模型的技术竞争也正在从单纯比拼参数和性能,走向更深层次的架构创新与开源技术复用。

END


关注+星标,获取AI前沿进展与开源一线动态

【声明】内容源于网络
0
0
智猩猩AI
智猩猩旗下AI技术内容账号,关注AI大模型掀起的范式革命,追踪AI大时代涌现的开源项目。
内容 2543
粉丝 0
智猩猩AI 智猩猩旗下AI技术内容账号,关注AI大模型掀起的范式革命,追踪AI大时代涌现的开源项目。
总阅读15.6k
粉丝0
内容2.5k