大数跨境

国内首个国产卡训推万亿大模型,开源!

国内首个国产卡训推万亿大模型,开源! 智东西
2026-07-06
2
导读:存量国产卡也能跑万亿模型。

存量国产卡也能跑万亿模型。
作者 | 茄子
编辑 | 程茜
智东西 7 月 6 日报道,美团今日宣布开源万亿参数大模型 LongCat-2.0,并同步开放针对国产算力芯片深度优化的推理代码。该模型总参数达 1.6 万亿,平均激活约 480 亿,是业界首个在五万卡国产算力集群上完成全流程训练与推理的万亿参数模型。

▲LongCat-2.0 开源(图源 GitHub)

官方数据显示,LongCat-2.0 综合能力强劲。在考察深层工程能力的 SWE-bench Pro 中得分 59.5,超越 Gemini 3.1 Pro、GPT-5.5 及 Claude Opus 4.6;在编程语言评测 SWE-bench Multilingual 中得分为 77.3,与 Claude Opus 4.6 持平;在真实终端指令交互评测 Terminal-Bench 2.1 中得分 70.8。

▲LongCat-2.0 与各模型的评分对比(图源 LongCat)

在真实场景任务方面,该模型在搜索智能体评测 RWSearch、生产力场景评测 FORTE 及 BrowseComp 中分别得分 78.8、73.2 和 79.9,表现达到或接近前沿闭源模型水平。
实测显示,LongCat-2.0 在长文本输出上理解准确,能生成可读性强的内容;编程方面生成速度较快,但偶尔存在画面不稳定现象。此外,模型具备优秀的创意能力、3D 动画场景生成能力及清晰的逻辑推理步骤。
技术架构上,LongCat-2.0 采用 MoE(混合专家)架构,原生支持 100 万 token 超长上下文,并针对 Agentic Coding(智能体编程)任务进行了专项强化。
模型拥有三项核心创新:一是 LongCat 稀疏注意力机制(LSA),将计算开销从平方级优化为线性级,加速百万级长上下文处理;二是引入 N-gram Embedding 作为新的参数扩展路径;三是后训练阶段采用多教师在线蒸馏,将专家划分为 Agent、推理和交互三类,分别聚焦自主执行、自适应推理和安全对齐。
以下为 LongCat-2.0 相关资源链接:
Model Weights:
HuggingFace: https://huggingface.co/meituan-longcat/LongCat-2.0
Github: https://github.com/meituan-longcat/LongCat-2.0
ModelScope: https://www.modelscope.cn/collections/meituan-longcat/LongCat-20
Inference Code:
GPU: https://github.com/sgl-project/sglang/pull/30042
NPU: https://github.com/meituan-longcat/SGLang-FluentLLM/tree/npu

01. 写长文本网文、解 AIME 真题:一次生成 3D 像素世界

在真实任务执行测试中,团队首先验证了模型的长文本生成与上下文一致性。通过让模型生成一本包含人物设定、100 章大纲及开篇导入的种田文小说(总字数近 3 万字),结果显示模型对任务理解准确,世界观构建、事件把握及开篇逻辑均符合网文创作规范。

▲LongCat-2.0 生成的长文本

在创意与逻辑能力实测中,模型首次生成“点击消泡泡”游戏时出现画面错误;但在第二次生成“数字华容道”益智游戏时,代码一次性产出且运行流畅、画面清晰,无卡顿或错误。

▲LongCat-2.0 生成的有问题的“消泡泡”游戏

▲LongCat-2.0 生成的“数字华容道”游戏
在 3D 场景创建测试中,模型成功根据指令“在公园长椅上玩风车的小朋友”生成了包含天空、树木、长椅等完整元素的 3D 像素艺术场景。

▲LongCat-2.0 生成的 3D 动画场景

逻辑推理方面,面对 AIME 2026 真题(涉及对数还原、指数方程等),LongCat-2.0 在 1 分钟内通过四个步骤得出正确结果 441,展现出稳定的推理链路与计算执行能力。

▲AIME 2026 真题

▲LongCat-2.0 对 AIME 真题的解题步骤

02. 数据查询、代码迁移、游戏开发:3D 演示与小说创作全搞定

在官方内测期间,LongCat-2.0 在多个实际场景中展现了完整的闭环交付能力:
AI SQL Agent:业务人员可用自然语言直接查询数据,模型自动完成意图理解、步骤规划及数据洞察转化。

▲LongCat-2.0 的内测(图源 LongCat)

代码库迁移:给定旧版代码与新 SDK 文档,模型能自行分析架构、重构逻辑并修复隐患,实现编译一次通过。

▲LongCat-2.0 的内测(图源 LongCat)

完整应用开发:输入“儿童 AI 游戏训练场”创意,模型可逐步生成技术选型、页面架构及游戏逻辑,一次性产出三个完整可玩游戏的全部代码。

▲LongCat-2.0 在内测中生成的儿童训练游戏(图源 LongCat)

3D 交互演示:仅需一句话描述,模型即可生成封装在单个 HTML 文件中的完整 Three.js 3D 演示,包含透明烧瓶、荧光液体等可交互效果。
AI 小说工厂:基于多 Agent 写作流水线,模型能自动完成世界观构建、章节生成、质量评估与修订,依托长上下文能力保障百万字级设定一致性,支持多平台连载输出。

03. 稀疏注意力、N-gram 嵌入与多教师蒸馏三项优化并行

LongCat-2.0 沿用 LongCat-Flash 整体设计,并围绕长上下文、代码与智能体场景实施了三项关键优化:
首先,针对百万 Token 长输入场景,引入稀疏注意力机制(LSA)。通过流感知、跨层及层级化索引策略,减少碎片化访存和重复计算,在不降级模型质量的前提下大幅提升训练与推理速度。

▲LongCat 稀疏注意力设计总览(图源:LongCat)

其次,新增 N-gram Embedding 作为参数扩展路径。鉴于 MoE 稀疏度已近 97%,继续堆叠专家收益有限,而将 135B 参数投入 N-gram Embedding 收益更高。该模块占比控制在 10% 以内,平衡了参数效率与结构稳定性。

▲N-gram Embedding 总览(图源:LongCat)

最后,在后训练阶段采用多教师在线蒸馏,将专家划分为 Agent、推理和交互三类,分别主攻自主执行、自适应推理和安全对齐。借助 MOPD 架构,模型在国产算力集群上实现了三类能力的无缝融合。

▲基于 MOPD 的多专家后训练架构总览(图源:LongCat)

04. 结语:万亿参数开源背后,Agent 模型走向真实生产力

LongCat-2.0 是国内首个完全依靠国产算力完成训练与推理全流程的万亿参数模型,峰值训练规模超 5 万张国产算力卡,创下国产算力平台最大训练任务纪录。

当前,大模型竞争正从参数规模转向真实生产力。未来,Agent 执行能力、工程能力及软硬件协同优化,或将成为开源模型竞争的新焦点。

【声明】内容源于网络
0
0
智东西
各类跨境出海行业相关资讯
内容 11701
粉丝 0
智东西 各类跨境出海行业相关资讯
总阅读164.7k
粉丝0
内容11.7k