2026年7月6日，美团新一代旗舰万亿参数模型LongCat-2.0的权重正式开源。作为业界首个在五万卡本土算力集群上完成全流程训练的万亿参数模型（总参数1.6T，平均激活约48B，动态范围 33B~56B），凭借卓越的综合性能与稳定的任务表现，在Code 和General Agent场景表现优异，使得LongCat-2.0能够胜任真实办公场景的复杂任务处理，成为可靠的“工作伙伴”。
依托昇腾910系列产品，深度亲和LongCat-2.0架构，大EP推理方案，充分释放模型推理性能，突破性实现20ms以内超低TPOT、百万Token超长上下文稳定承载，给业界带来了高性能、高稳定、高性价比的工程化落地方案方案，助力用户触达 LongCat-2.0在本土硬件体系下的推理性能上限。
LongCat-2.0：
创新原生模型架构，
代码及通用智能体深度适配
LongCat-2.0的模型架构设计继承自LongCat-Flash ，在参数效率以及长上下文训练与推理速度上更进一步。在注意力机制方面，提出LongCat稀疏注意力 (LSA)：该机制由 DeepSeek 稀疏注意力 (DSA) 演进而来，通过引入更轻量化的索引器（Indexer），在无损模型质量的前提下显著加速长上下文处理。同时，为了让每个参数发挥更大价值，加入N-gram Embedding模块，通过N-gram token组合将embedding空间扩展超过100倍，以更充分地建模局部上下文信息，并提升token级表示能力。
同时LongCat-2.0深度适配Claude Code、OpenClaw、Hermes等主流Harness，在代码理解、仓库级修改、自动化任务执行及Agentic Workflow等多元场景中表现出色，能够为开发者带来更稳定、更高效的智能协作体验。
昇腾大规模分布式方案，
破解1.6T超大模型超长序列，
超低时延推理落地难题
大规模部署
LongCat-2.0拥有1.6万亿超大参数量，如何在有限显存资源下实现百万Token超长序列、高并发低延迟推理，成为规模化部署核心挑战。以下我们将介绍如何基于昇腾910（64GB）产品打造Prefill、Decode分离部署架构，实现模型超长序列，超低时延推理。
Prefill节点：流水 + 序列并行，支撑百万级超长输入
Prefill侧创新融合流水与序列并行方案，64张昇腾NPU协同调度，大幅降低通信耗时，稳定承载超100万Token超长上下文输入。
Decode节点：EP128超大专家并行，长短序列自适应切分
Decode侧搭建128卡超大EP推理实例，针对不同输入序列长度配置差异化Attention切分策略，兼顾长序列与推理成本。
全链路极致推理优化，20ms低延迟与百万token上下文
为实现推理延迟、服务吞吐、部署成本三者最优平衡，我们围绕集群通信、模型切分、算法编排、计算流水、底层算子、专家负载均衡六大维度开展全链路深度优化，充分释放昇腾 NPU 算力与带宽潜力，让LongCat-2.0模型能够获取更好的性能。
集群部署与通信优化：
采用Prefill、Decode分离集群架构，P、D节点间KV Cache传输使用昇腾NPU内置200Gbps高速网卡，释放主机PCIe与网卡资源；KV Cache分层传输，每层Attention计算完成后即时推送至 Decode节点，减少全量缓存传输开销；使用主机RDMA网卡构建 KV池化机制，大幅提升缓存命中率，削减Prefill阶段重复算力消耗。
多场景模型分层切分优化：
在Prefill场景，引入Pipeline切分，将模型切为8个Stage，在每个stage内将通信域控制在8张卡，大幅降低了MoE通信耗时，极大地提升了推理性能；Prefill场景切分输入的序列，降低了Lightning Indexer的TopK算力瓶颈；
在Decode场景，针对普通序列，采用DP128+EP128的模型切分部署方案，在兼顾低延迟的同时提升单卡吞吐；针对超长序列，Decode采用DP16CP8+EP128的模型切分部署方案，使得Decode实例可以支持超过1M序列长度的请求。
算法调度编排优化：
在Prefill场景应用FlashComm算法，降低Vector算力消耗；在Decode场景，利用NPU超大L2 Cache，适时加入权重预取，加速矩阵运算，降低TPOT；在Decode超长序列场景，通过相对位置比较大幅降低二阶TopK耗时，降低由Decode CP切分引入的额外性能损耗。
计算流并行调度优化：
在Prefill场景使用通算分流达成通算并行，大幅提升计算效能；在Decode场景使用MoE与Dense分流并行，同时为每条流精细化控核，最大限度利用芯片带宽与算力，降低吐字延迟；
底层定制算子深度优化：
定制了高性能算子，如支持零计算专家的Dispatch/Combine算子；支持注意力汇聚（Attention sink）及滑动窗口的Lightning Indexer算子等，同时使能SuperKernel降低算子的头开销。
MoE专家动态负载均衡：
超大EP域导致专家接收token数方差极大，通过动态负载均衡技术将专家间负载差距降低约100倍，大幅降低MoE过程中由负载不均导致的性能劣化。
经过上述优化手段，LongCat-2.0高性能推理能力在昇腾910系列产品成功落地， 20ms以内的超低TPOT、百万Token超长上下文稳定承载，成为业界万亿参数模型推理性能的新标杆。长期以来，昇腾始终坚持开放共建、产业协同的创新理念，深度联动各大企业深耕大模型底层技术创新，持续助力产业大模型技术迭代与规模化落地。
推理部署指导
为了让大家能够更好体验LongCat2.0模型的能力，我们提供了昇腾部署指导，欢迎大家基于昇腾软硬件进行体验。
SGLang部署指导可参见以下链接:
极致高性能版（192卡）：
SGLang-FluentLLM/npu_test/ReadMe.md at npu · meituan-longcat/SGLang-FluentLLM · GitHub
高效尝鲜版（32卡）：
[Feature] Support LongCat2.0 for Ascend NPU · Issue #30224 · sgl-project/sglang
