主要5个问题问与答

1. Q：LongCat-2.0 核心硬件优势是什么？

   A：全链路使用国产算力集群，5 万 + 国产芯片完成预训练，配套自研算子、并行方案解决国产芯片显存、带宽短板，实现万亿大模型国产化训练推理。

2. Q：LSA 稀疏注意力包含哪三项优化？

   A：流式感知索引 SI、跨层索引 CLI、层级化索引 HI，三者独立可插拔，大幅降低长文本索引延迟。

3. Q：N-gram Embedding 为何优于扩充 MoE 专家？

   A：模型 MoE 稀疏度近 97%，新增专家收益极低；N-gram 参数占总参 10% 以内，提升表征且减少推理显存 IO。

4. Q：后训练三大专家分组分别负责什么？

   A：Agent 专家组优化工具调用、自动化任务；推理专家组强化数学多跳逻辑；交互专家组降低幻觉、优化指令遵循与安全对齐。

5. Q：推理阶段 PD 分离部署有什么作用？

   A：拆分 Prefill 预填充、Decode 解码节点，搭配 CPP、SP、KVP 并行，同时优化首包延迟 TTFT 与生成吞吐 TPOT。

发布日期：2026 年 06 月 30 日开源渠道：GitHub、HuggingFace、在线体验、API 接入

我们正式发布并开源 LongCat-2.0，这是一款总参数量达 1.6 万亿、单次 Token 激活参数量约 480 亿的混合专家（MoE）大语言模型。相较于前代 LongCat 系列模型，LongCat-2.0 完成多项架构革新，模型综合能力实现大幅提升。

LongCat-2.0 完整训练流程与全规模部署工作，全部基于国产算力集群落地。预训练阶段动用超 5 万片国产算力芯片，耗时一月有余完成，训练文本总量超 35 万亿 Token；全程训练无中断回滚、未出现无法修复的损失值突变问题。该成果充分验证：我们已具备依托国产算力平台训练业界顶尖超大规模大模型的完整能力。

为强化模型超长文本处理能力，团队自研 LongCat 稀疏注意力机制，并基于数千亿 Token、百万上下文长度的数据集完成模型训练；搭配专属后训练优化方案后，LongCat-2.0 在代码生成、智能体任务两大领域表现尤为突出。

LongCat-2.0 深度兼容 Claude Code、OpenClaw、Hermes 等主流开发框架，在代码理解、完整代码仓库重构、自动化任务执行、智能体工作流等多元场景中表现优异，可为开发者提供更稳定、高效的 AI 协同开发体验。

评测基准

Terminal-Bench 2.1、SWE-bench Pro、多语言 SWE-bench、FORTE、RWSearch、BrowseComp参评模型：LongCat-2.0、Gemini 3.1 Pro、GPT-5.5、Opus 4.6、Opus 4.7、Opus 4.8。

一、架构升级

LongCat-2.0 的模型架构继承自 LongCat-Flash，在参数利用效率、超长上下文训练速度、推理时延三方面实现全面优化。

1. LongCat 稀疏注意力机制（LSA）

该机制由 DeepSeek 稀疏注意力（DSA）迭代优化而来，搭载轻量化索引器，在不损失模型效果的前提下，大幅提升超长文本处理速度。同时新增 N 元词嵌入模块，借助 N 元 Token 组合将嵌入表征空间扩大百倍以上，更充分建模局部文本信息，提升单 Token 语义表征能力。

智能体应用对大模型高效处理超长输入的能力提出极高要求。尽管 DSA 依靠细粒度稀疏注意力缓解了算力压力，但性能分析显示：原有轻量化索引器存在索引输出碎片化、索引打分二次方级算力开销等缺陷，成为端到端推理延迟的核心瓶颈。

为此，LongCat 稀疏注意力（LSA）针对索引器设计三套互不干扰、可独立开关的优化策略：

1. 流式感知索引（SI）
   重构索引器的 Token 选择资源分配逻辑，结合硬件对齐的连续读取与动态随机筛选，将碎片化显存访问转化为可预测的顺序读取，合并高带宽内存（HBM）访问请求，最大化硬件带宽利用率。
2. 跨层索引（CLI）
   相邻网络层中高权重关键 Token 分布高度重合，以此分摊索引计算开销；训练阶段引入跨层蒸馏技术，推理时单次索引计算结果可被连续多层注意力网络复用。
3. 层级索引（HI）
   采用由粗到细两段式打分筛选：先基于分块粗打分完成候选集粗召回，再对召回结果做精细 Token 筛选，大幅缩减索引器单次检索的候选范围。在 LongCat-2.0 中，层级索引为可插拔组件，仅在超长上下文任务中按需启用。

上述三项优化方案相互独立，可单独开启或关闭。整套架构详见 LongCat 稀疏注意力整体设计示意图（图中省略 Sink 缓冲 Token 以简化展示）。

我们将三套优化策略同步适配三步多步投机解码（3-step MTP）加速模块。跨层索引在目标模型与草稿模型中的实现逻辑存在差异：

• 目标模型：每两层连续网络共用一次索引结果；
• 多步 MTP 模块：全部三步草稿计算共享首轮索引结果，第二步、第三步完全复用第一步生成的索引数据。

2. N 元词嵌入模块

LongCat-2.0 沿用 LongCat-Flash-Lite 的 N 元词嵌入设计，在与混合专家（MoE）互不冲突的稀疏维度扩充参数，提升整体参数利用率。适配 LongCat-2.0 超大模型规模，元序列长度设为 5，整套 N 元词嵌入参数量达 1350 亿，遵循两条核心扩容准则：

• 混合专家稀疏度已达性能最优区间：LongCat-2.0 原生稀疏度接近 97%，继续增加专家参数带来的收益极低；同等参数量下，扩充 N 元词嵌入的性能提升远优于单纯扩充专家模块。
• 严格控制 N 元词嵌入参数量占比：实验证明，若该模块参数占总参数量 50% 以上，其相对纯 MoE 模型的性能优势将完全消失；LongCat-2.0 将其占比控制在 10% 以内，维持最优性能区间。

两条准则保障 N 元词嵌入相比同等规模纯 MoE 模型具备稳定优势。此外，推理阶段将参数从专家模块迁移至 N 元词嵌入，可降低大批量解码时的显存读写开销，进一步提升解码速度。详见 N 元词嵌入模块整体示意图。

二、基于国产算力的大规模基础设施

LongCat-2.0 的训练与部署集群由数万片国产算力芯片搭建而成。对比成熟的英伟达 GPU 生态，国产算力配套软件生态仍存在短板，为此我们投入大量资源搭建稳定、安全、可横向扩展的底层算力底座。

（一）训练阶段优化

LongCat-2.0 预训练任务部署在超 5 万片国产算力芯片上，超大模型规模与超大规模集群带来多重系统性难题。团队完成全套系统化优化，相较原生基础实现，预训练吞吐提升 35% 以上，同时大幅强化训练稳定性。

1. 确定性与可靠性保障

为保障生产环境实验可复现，通信、计算全链路实现计算确定性；自研覆盖嵌入层、前向注意力、LSA 稀疏注意力、MoE 混合专家等模块的确定性算子。数值精度层面：重写全套基础算子提升计算精度，所有归约计算采用二叉树分段累加，减少浮点误差累积；基于高精度标准基线，在真实大模型训练负载下验证国产芯片计算精度，确认硬件数值计算可靠、可落地生产；为高算力消耗算子增加比特翻转检测，实时识别硬件存储异常引发的数值错误。故障自愈机制：全链路监控系统自动识别链路故障、切换流量并完成修复，全程无需人工干预；故障链路隔离后训练无感知，修复链路必须通过压力测试方可重新接入集群。

2. 超大规模训练适配

国产算力芯片单卡显存远小于 H800 的 80GB 显存，显存容量成为超大模型训练核心瓶颈。我们从并行策略、显存管理两大维度针对性优化：

• 六维并行架构（6D 并行）
  在传统张量并行 TP、上下文并行 CP、专家并行 EP、数据并行 DP、流水线并行 PP 基础上，新增嵌入并行 EMBP，专门为 N 元词嵌入模块做并行加速。
• 超节点集群架构
  训练任务运行在物理超节点集群，单超节点最多包含 48 台服务器；节点内部全互联高带宽通信，节点间通过 RoCE 高速网络互联。超节点将高带宽通信域拓展至数百张算力卡，支撑张量、上下文、专家等带宽敏感型并行策略；同等集群规模下，超节点架构额外提升约 30% 预训练吞吐。逻辑超节点同时作为调度最小单元，平衡通信局部性与集群调度灵活性。
• 显存优化方案
  落地 ZeRO-1 优化、选择性重计算、显存分配器自动超限卸载；将填充 Token 路由至零计算专家，减少无效算力消耗。
• Muon 优化器国产适配
  在国产算力集群大规模部署 Muon 优化器，针对张量并行、数据并行状态冗余消除、对称矩阵乘核心算子等关键链路完成专项优化。

3. 超长上下文训练专项优化

从三大维度解决百万级长文本训练难点：

• LSA 算子与前向通路优化：自研适配 LSA 预热、稀疏双阶段训练的确定性注意力算子与 KL 损失算子；LSA 预热采用仅前向传播训练策略，单次前向计算即可同时输出 KL 损失与梯度，提升训练效率。
• 原生百万上下文拓展：采用全聚合上下文并行方案，并行规模可拓展至 512 路以上，原生支持百万 Token 长度数据集训练；数据预取阶段重新打乱样本，搭配均衡序列切分策略，保证各卡负载均衡。
• 计算通信重叠调度：精细调度实现计算与通信并行，例如 ScMoE 架构让 MoE 通信与分支计算重叠；LSA 索引打分计算与 KV 缓存全局聚合同步执行，降低同步等待开销。

（二）推理阶段优化

国产芯片显存容量、显存带宽、跨卡互联带宽均存在限制，在万亿参数模型上实现百万上下文推理挑战巨大。团队从模型、硬件、部署三层完成全链路优化。

1. 模型层优化

• 注意力机制优化：通过三种方案解决超长上下文带来的计算、显存、读写瓶颈
• 预填充、解码阶段统一采用吸收计算模式；
• 索引器与多头线性注意力前置计算并行执行，用 MLA 计算掩盖索引器算力开销；
• 引入 KV 缓存并行（KVP），将 KV 缓存分片至多张算力卡，分摊显存压力。
• ScMoE 混合专家调度优化：继承 LongCat-Flash 稠密 / 专家分支计算通信重叠机制，结合国产芯片内核调度能力，主动分配稠密分支、专家分支计算核心，实现稠密计算与专家计算完全并行，而非仅计算与通信重叠。

2. 国产算力硬件专项优化

• 超级算子内核（Super Kernel）：开启计算图模式消除算子间隙，但单算子启动仍存在开销；超级算子内核合并细碎算子，大幅降低算子启动总耗时。
• 权重预取：国产芯片显存带宽有限，但二级缓存容量更大；利用大容量 L2 缓存提前加载模型权重，将读写延迟隐藏在上一层算子计算过程中。
• 单机扩容 / 集群扩容分层部署：依托国产芯片内置 200Gbps 网卡，分层传输预填充、解码节点间的 KV 缓存；KV 缓存存储依托主机 RDMA 高速网卡搭建；张量并行、序列并行、KV 缓存并行均在单机高带宽互联域内完成。

3. 服务部署优化

采用预填充 - 解码分离式部署（PD 分离），平衡首包响应时延（TTFT）与生成吞吐时延（TPOT）。

• 预填充节点
  长序列处理核心瓶颈为跨节点通信带宽，MoE 专家分发、合并计算耗时占比极高。采用多节点分块流水线并行（CPP）缩小专家并行域；单流水线分段内部搭配注意力序列并行（SP）分摊长文本计算压力。
• 解码节点
  核心瓶颈为显存容量与 KV 缓存读写。通过 KV 缓存并行分片降低单卡显存占用；搭配高专家并行度 EP128，减少单卡权重显存与专家读写压力。两套并行方案（CPP/SP、KVP）均兼容约束解码、多任务调度、多步投机解码等推理优化功能，保障全场景推理性能。
• 专家并行负载均衡（EPLB）解码节点高并行专家架构易出现各专家算力负载不均，通过 EPLB 负载均衡方案解决；负载统计、分布重分配计算全程异步执行，不阻塞推理流程。

（三）多教师在线蒸馏后训练

为全面提升模型综合能力与落地边界，后训练流程引入高度专业化多专家蒸馏框架，将教师模型划分为三大核心专家阵列：智能体能力专家组、逻辑推理专家组、交互对齐专家组。

• 智能体能力专家组
  专攻复杂真实场景下模型自主执行能力，代码、办公、检索等细分领域均达到业界顶尖水平。训练目标不只关注任务整体成功率，同时深度优化底层核心基础能力：复杂工具调用精准度、多轮 API 交互参数解析、自动规避死循环 / 重复调用的自我纠错能力。
• 逻辑推理专家组
  核心目标拓展模型深度逻辑推导能力，支持根据题目难度自适应分配推理算力；该组教师模型在数学、理工科复杂计算、多跳逻辑推理任务中稳居行业第一梯队。
• 交互对齐专家组
  聚焦人机指令对齐与用户体验底层优化，攻克多变场景下细粒度指令遵循难题；依托先进对齐技术大幅降低事实幻觉，在不损耗模型有用性的前提下搭建边界清晰的安全防护体系。

整套后训练采用 MOPD 多专家融合架构，在数万卡国产算力集群上将三大维度顶尖能力无缝融合。最终模型兼具强大智能体自主思考能力，可精准拆解、理解用户复杂需求，在各类高难度真实业务场景中稳定、高效完成任务交付。详见基于 MOPD 架构的多专家后训练整体示意图。

三、模型能力展示

架构与底层算力优化最终转化为实打实的模型效果。依托超长上下文推理增强、精细化多专家蒸馏后训练，LongCat-2.0 在各类真实业务任务中表现突出。下方覆盖多场景演示，点击对应标签即可查看详情：

场景分类

• 软件工程：代码仓库迁移、Web 应用开发
• 智能体任务：数据分析、AI 科研、知识库搭建
• 内容生成：演示文稿制作、创意写作

场景示例：代码仓库迁移

LongCat-2.0 可一次性读取完整代码库与迁移文档，梳理整体项目架构，将全套插件完整迁移至全新开发 SDK；完整保留原有全部功能，自动挖掘隐藏代码缺陷，迁移后首次编译即可成功运行。

四、评测对比

我们从代码智能体、通用智能体、基础综合能力三大维度，将 LongCat-2.0 与行业主流闭源模型横向对比。除标注 * 的分数为公开外部报告数据外，其余指标均基于统一评测框架内部实测；标注 “-” 代表暂无对应测试结果，所有分数统一归一化为 0–100 区间。

评测环境说明

1. Terminal-Bench 2.1：
   基于 Claude Code 评测框架；单沙盒资源 8 核 16G；推理参数：温度 1.0、无 top_k 限制、top_p=0.95；智能体单次任务超时 6 小时。
2. SWE-bench 全系列：
   基于 Claude Code 评测框架；单沙盒资源 4 核 8G；推理参数：温度 1.0、无 top_k 限制、top_p=1；已修正历史存在缺陷的测试任务。
3. FORTE†：
   全周期企业办公真实任务评测集，覆盖 15 类职场场景，衡量 AI 智能体办公生产力；兼容 OpenClaw、Hermes、Claude Code 等开发框架；单任务限时 45 分钟，单实例 2 核 4G 内存；单次 API 调用超时 500 秒，最多重试 10 次。
4. RW-Search：
   自研检索智能体客观评测基准；仅搭载基础搜索、浏览工具，不附加上下文管理策略，裸模型测试。
5. 基础能力评测参数
• 数学推理类（IMO-AnswerBench）：温度 1.0、无 top_k 限制、top_p=0.95；
• 其余基础能力任务：温度 0.7、无 top_k 限制、top_p=0.95。