大数跨境

2.8万亿参数全开源,国产大模型这次把天花板...

2.8万亿参数全开源,国产大模型这次把天花板... AI大风歌
2026-07-28
0
导读:2.8万亿参数全开源,国产大模型这次把天花板...

2.8万亿参数全开源,国产大模型这次把天花板掀了


 

你可能还在用70B的模型本地跑着玩,月之暗面已经把2.8万亿参数的怪物开源了。

 

不是70B,不是400B,是2800B。

 

一天时间,GitHub星数暴涨2500+,评论区全是"这不科学"。

 

先说人话:这玩意到底多大

 

给你个直观感受:

 

●GPT-4级别的大模型,参数量大概在1.8T左右

●Kimi K3直接干到2.8T,比GPT-4还大50%

●但它是开源的,权重文件就摆在那里,谁都能下

 

等等,2.8T的模型,得多少显卡才能跑?

 

别急,这就是K3最骚的地方。

 

架构黑科技:大而不贵

 

传统思路是"参数越多,推理越贵"。Kimi K3用了个取巧的办法:MoE,混合专家系统。

 

打个比方:

 

●普通大模型像一个全科医生,什么病都看,每次都要调动全部脑细胞

●MoE模型像一个医院,896个专科医生待命,每个病人来只叫16个相关科室会诊

 

K3的具体情况:

 

●总共896个专家

●每个token只激活16个专家

●实际激活参数量:104B(一千亿)

 

也就是说,虽然模型有2.8T参数,但推理时只用到104B。这就像你请了一个2800人的团队,但每个任务只需要100人干活。

 

更狠的是它的新注意力机制:Kimi Delta Attention(KDA)。93层网络里,69层用的是KDA,24层用的是Gated MLA。这套组合拳让K3比上一代K2的效率提升了2.5倍。

 

能干什么:不只是聊天

 

K3的定位不是"聊天机器人",而是"能干活的智能体"。

 

官方强调了三个核心场景:

 

长周期编码

 

不是写个函数、改个bug那种。是持续几个小时的工程任务:

 

●在超大代码库里导航和重构

●GPU内核优化

●编译器开发

●甚至芯片设计

 

关键是"最少人工干预",它自己能持续干活。

 

知识工作自动化

 

●深度研究报告,带交互式可视化

●自动生成仪表盘和控件

●动效设计和视频剪辑

 

这些都是端到端完成,不是给你个大纲让你自己填。

 

原生多模态

 

不是后期拼凑的视觉能力,而是从架构层面就支持图像理解:

 

●视觉编码器MoonViT-V2,4亿参数

●文本和图像在同一个模型里处理

●100万token上下文窗口,能塞进去一整本书

 

性能怎么样:和顶级闭源模型掰手腕

 

直接看数据:

 

●测试项:Kimi K3

●GPQA Diamond:93.5

●AA-LCR:74.7

 

GPQA是研究生级别的科学推理测试,K3拿了93.5,仅次于GPT-5.6的94.1,超过Claude Fable 5。

 

AA-LCR是长上下文理解测试,K3的74.7直接超过了所有对手。

 

编码能力方面,DeepSWE测试中K3也排在第一梯队。

 

一句话总结:开源模型里最强的,闭源模型里也能打。

 

怎么上手

 

K3的权重在HuggingFace和ModelScope都有,但2.8T的模型不是随便就能跑的。

 

最低门槛方式是用官方API:

 

pip install kimi-sdk


from kimi import KimiClient

client = KimiClient(api_key="your-api-key")
response = client.chat(
    model="kimi-k3",
    messages=[{"role": "user", "content": "你好"}]
)
print(response.content)

 

如果你有足够的显卡(至少8张H100),可以本地部署:

 

pip install vllm

python -m vllm.entrypoints.openai.api_server \
    --model moonshotai/Kimi-K3 \
    --tensor-parallel-size 8 \
    --quantization mxfp4

 

K3支持MXFP4量化,这能把显存需求降低一大截。原本需要16张H100的场景,量化后8张就能跑。

 

老司机辣评

 

说几个实际问题:

 

优点:

 

●真正的开源前沿模型,不是阉割版

●架构创新有干货,KDA和Stable LatentMoE都值得研究

●性能确实能打,不是刷榜货

●国产团队出品,中文能力有保障

 

局限:

 

●2.8T参数,个人玩家基本别想本地跑

●许可证是Kimi K3 License,不是MIT/Apache,商用需要注意条款

●多模态目前只支持图像,没有音频和视频

●生态还在建设中,第三方工具支持不如Llama系列

 

适合谁:

 

●有GPU集群的企业和研究机构

●需要长上下文处理的专业场景

●想在开源模型基础上微调的团队

 

不适合谁:

 

●想在自己电脑上跑的爱好者(显存不够)

●只需要简单对话功能的场景(杀鸡用牛刀)

 


 

总的来说,Kimi K3的意义不在于"你能不能用",而在于"它证明了开源也能做到前沿"。

 

2.8T参数开源,这件事本身就是里程碑。

 

项目地址:https://github.com/MoonshotAI/Kimi-K3

 

【声明】内容源于网络
0
0
AI大风歌
1234
内容 373
粉丝 0
AI大风歌 1234
总阅读0
粉丝0
内容373