大数跨境

Kimi K3 2.8万亿参数开源,月之暗面开放日全解读

Kimi K3 2.8万亿参数开源,月之暗面开放日全解读 路过银河AI
2026-07-27
2
导读:Kimi K3 开放日:2.8万亿参数最大开源模型,月之暗面把AGI战场推到3T级从K2到K3,参数翻了3

从 K2 到 K3,参数量增长三倍,但月之暗面强调“规模化并非单纯堆砌参数”。真正引发业界震动的,是其实现的 2.5 倍规模化效率提升。

月之暗面近日举办 Kimi K3 开放日,正式发布 Kimi K3 模型权重与技术报告,并开源 MoonEP、FlashKDA 和 AgentEnv 三大核心基础设施技术。这一系列举措将国产大模型的开源竞争推向了"3 万亿参数级”的新高度。

核心看点:

- Kimi K3:2.8 万亿参数 MoE 模型,全球参数规模最大的开源模型
- 原生视觉理解能力 + 100 万 token 上下文窗口
- 规模化效率提升 2.5 倍(单位算力产出智能约为原有的 2.5 倍)
- 开源三大 Infra 技术:MoonEP、FlashKDA、AgentEnv
- K3 参数量为 K2.5 的 3 倍,但算力投入未同比例增加

2.8 万亿参数的技术含义

Kimi K3 是一款拥有2.8 万亿参数的混合专家(MoE)模型。相比之下,DeepSeek V3 的参数规模约为 671B(激活参数 37B),K3 的总参数量是其四倍以上。

K3 的具体架构特征如下:

896 个路由专家,每个 token 激活 16 个
SiTU-GLU + Quantile Balancing,在极高稀疏度下维持训练稳定性
KDA + AttnRes,以 3:1 比例混合,实现高效长上下文建模
MoonViT-V2视觉编码器,采用 next-token prediction 从零开始训练

凭借这一规模,K3 不仅成为全球参数最大的开源模型,上线后更迅速登顶多个基准测试榜单。数据显示,在通用推理、通用 Agent 及编程 Agent 三大领域的大规模评测中,K3 均取得开源模型中的领先成绩。据报道,月之暗面目前估值已达 500 亿美元,计划于 8 月启动上市前最后一轮融资

受限算力下的效率突破

月之暗面在技术报告中坦诚提及面临的“并不宽裕的算力条件”。在 H20 芯片出口管制背景下,这是国产大模型厂商普遍面临的现实瓶颈。

K3 的核心亮点正是在此约束下实现的:K3 参数规模是 K2.5 的 3 倍,但规模化效率提升了 2.5 倍。这意味着单位算力产出的智能水平达到了原有水平的 2.5 倍。

分析指出,K3 背后的三大自研技术——Kimi Delta Attention(KDA)、Attention Residuals(AttnRes)和 MoonEP——是效率提升的关键引擎:

KDA:在英伟达 H20 上,相比 flash-linear-attention 基线,prefill 速度提升 1.72-2.22 倍
Attention Residuals:通过块级注意力残差增强跨层信息流动,缓解深层注意力退化
MoonEP:针对超大细粒度 MoE 的高性能通信库,确保在负载不均衡时专家并行通信仍保持极致效率

正如媒体评价:“在算力受限的背景下,K3 展示了一条不同于单纯堆砌参数的技术发展路径。”

开源生态:模型与基础设施并重

伴随 K3 权重发布的,还有支撑其训练的三大基础设施技术:

技术 功能 开源状态
MoonEP 超大 MoE 高性能通信库 本次开源
FlashKDA KDA 高性能算子 此前已开源
AgentEnv Agent 沙箱系统(与 KVCache.ai 合作) 本次开源

这三项技术覆盖了从高性能通信到高性算子,再到分布式 RL 环境的关键链路。

行业分析认为,K3 的开源力度超出市场预期。不仅开放模型权重和技术报告,更将训练基础设施一并公开,这在全球大模型开源生态中极为罕见。

在市场层面,MoE 架构的规模化正在推动 AI 算力的结构性增长。台积电已将资本支出上调至 600 亿 -640 亿美元区间,HBM、DRAM、SSD 等全层级存储需求同步升级。

开放的战略意义

月之暗面表示:“我们坚信开放权重模型的价值。它们能降低获取智能的门槛,推动创新,并赋予用户对数据更大的控制权。”

从行业视角审视,K3 的开源策略具有多重深远含义:

对开发者:可自由下载部署 2.8 万亿参数的 MoE 模型,用于内部研发或产品嵌入
对学术界:完整的技术报告提供了消融实验和训练方法,有助于推动 MoE 架构研究
对国产算力链:K3 证明了在受限条件下,通过架构创新仍可达到世界级模型水平

月之暗面明确表示,K3 并非终点,未来将继续向上探索参数规模。

结语

Kimi K3 的发布不仅是月之暗面的里程碑,更是国产大模型走向开放生态的关键一步。2.8 万亿参数的体量、2.5 倍的效率提升以及三大核心技术的开源,展示了中国 AI 公司在 AGI 赛道上的独特路径。

在算力受制的大环境下,通过架构创新实现“少米之炊”,或许正是国产大模型实现弯道超车的最现实路径。

参考链接

下载 Kimi K3 模型权重:https://kimi.moonshot.cn/k3

[2] K3 技术报告:https://kimi.moonshot.cn/k3-report

[3] MoonEP GitHub: https://github.com/moonshotai/MoonEP

[4] FlashKDA GitHub: https://github.com/moonshotai/FlashKDA

[5] AgentEnv GitHub: https://github.com/moonshotai/AgentEnv

【声明】内容源于网络
0
0
路过银河AI
1234
内容 1033
粉丝 1
路过银河AI 1234
总阅读27.7k
粉丝1
内容1.0k