智谱AI于2026年6月17日发布最新的旗舰大语言模型GLM-5.2，该模型沿用与GLM-5.1相同的7440亿参数混合专家（MoE）架构，并在GLM-5.1的基础上，新引入High和Max两种慢思考推理模式，提供了强大的编码能力和高达100万token的原生超长上下文窗口支持。昇腾延续对智谱GLM系列模型的同步支持，在GLM-5.2模型权重开源后MindSpeed LLM天级完成适配、CANN实现DSA稀疏注意力的昇腾算子深度优化，助力开发者第一时间体验全新百万级上下文超强能力的训练体验。
GLM5.2：从代码模型走向长程智能体基座
GLM-5.2模型专为长程任务能力而生，模型亮点如下：
实现1M无损上下文：解决传统大模型长上下文性能衰减问题，支持跑完多端应用从开发、调试、测试到上线的全流程，满足企业级长程作业需求。
创新提出IndexShare机制：优化原生DeepSeek Sparse Attention（DSA）架构，在每四个稀疏注意力层之间复用相同的索引器，减少Top-K重复计算，提升模型在超长上下文推理任务中的运行效率与响应速度。
Coding能力对齐Claude Opus 4.8：GLM-5.2在SWE-bench Pro和MCP-Atlas中，分别获得62.1和81.0的开源模型最高分数，性能超过GPT-5.5。
昇腾深度优化：
三大DSA融合算子
使能长序列训练性能跃升
长序列训练面临显存和算力瓶颈：
大模型处理长文本时，传统注意力机制要计算当前token与此前所有token的关联，计算量随上下文长度平方增长（O(n²)）。当上下文达到128K甚至1M时，显存和算力很快被耗尽。
DSA的思路是先选后算：在每个注意力层引入一个轻量的Lightning Indexer，先为每个Query选出最重要的Top-K个token，再只在这K个token上做注意力计算。计算复杂度由此从O(n²) 降到O(n·k)，在几乎不损失精度的前提下大幅减少计算量。
但算法层面的优势要在硬件上兑现并不容易，主要有两个障碍：
离散访存：Top-K选出的token在内存中位置不连续，而硬件擅长搬运连续的大块数据，碎片化访存会让搬运效率大幅下降。
算力空转：昇腾内部的Cube单元（擅长矩阵乘）和Vector单元（擅长向量/标量运算）若串行执行，就会一个忙、一个闲，整体利用率上不去。
优化思路-减少重复搬运和消除算力空泡：
围绕DSA模型训练的完整流程，我们在昇腾上实现了三个融合算子，分别打通索引筛选 → 稀疏注意力 → 反向Loss三个环节：
三个算子背后是两条共通的优化主线，后续每个算子都会用到：
减少无效搬运：通过数据切分（Tiling）、缓存常驻、地址聚合，把重复读取或离散的数据，变成「少搬、连续搬」。
消除算力空泡：通过流水重叠（Preload），让Cube和 Vector同时有活干，而不是串行轮流等待。
在4K序列长度下，与未开启融合算子的基线相比，显存占用降低27%，整网单步迭代耗时从112s缩短至84s。下面分别展开各个算子优化细节。
LightningIndexer融合算子-为稀疏注意力提供索引
解决的痛点
SparseFlashAttention只算Top-K个关键token，但前提是先要知道哪些token 重要。LightningIndexer负责这一步：为每个Query在全量Key中快速打分，挑出得分最高的Top-K个位置。在数十万长度的序列上，这次全量打分排序如果太慢，就会把后续稀疏注意力省下的时间全部吃掉。
它的计算可拆成五步：矩阵乘打分 → ReLU → 加权 → 求和 → TopK排序。落到昇腾上，难点集中在三处：片上缓存放不下全量数据、Cube与Vector容易串行空转、精确TopK排序在长序列下开销很高。
优化实现
优化收益（64K 上下文）
算子时延：相较于小算子拼接优化约72%
片上内存搬运总量：相较于小算子拼接减少约68%
Cube/Vector 双核利用率：约55% → 90%以上
SparseFlashAttention算子-让稀疏注意力真正跑得快
解决的痛点:
SparseFlashAttention只让Query与Top-K选出的Key/Value做注意力计算，计算量从O(Sq·Sk) 降到O(Sq·k)。但这些 Key/Value在内存里地址离散，而昇腾擅长搬运连续大块数据；若直接硬取，搬运延迟可能把省下的算力全部抵消。此外SparseFlashAttention计算分为四个阶段（两段矩阵乘 + 两段向量运算），串行执行时Cube和Vector利用率只有 50%~60%。
优化实现：
优化收益（64K上下文）：
算子时延：相比FA，耗时缩短40%。
片上内存带宽利用率：40% → 90%。
显存占用峰值：显存峰值相比FA降低40%+。
SparseLightningIndexerGradKLLoss融合算子-反向传播和 Loss 计算融合
解决的痛点：
DSA训练中，KL Loss的反向传播依赖前向的中间结果，这些中间张量随序列长度按 O(S²) 增长，长序列下显存极易爆掉。常见的重计算做法能省显存，但要把前向重算一遍，计算量翻倍、训练变慢。我们的目标是把重计算 + Loss前向 + 反向梯度三件事融成一条流水线，既省显存又不掉速度。
优化实现：
优化前，这三步各自独立、顺序执行：前向LI → 保存全量中间张量 → 反向读回算梯度。问题是中间张量全量保存导致显存平方级膨胀，且Cube、Vector串行空转。
优化后，我们把三步拆成若干Cube阶段和Vector阶段交错排布，中间结果「现算现用、不再保存」，并借助预加载让Cube与Vector深度重叠：Vector处理当前批次时，Cube已在算下一批次的矩阵乘。
优化收益（64K 上下文）：
中间张量显存峰值：32GB → 11GB，降低约65%
反向传播时延：320ms → 140ms，降低约56%
基于昇腾MindSpeed LLM
跑通GLM-5.2模型
作为昇腾大模型套件的重要组成部分，MindSpeed LLM是昇腾AI生态中的核心技术支撑，专为大规模语言模型设计，具备强大的计算性能与灵活易用性的工程化能力，高效支持GLM-5.2模型的快速部署与应用。详细指导请参考：
https://modelers.cn/models/MindSpeed/GLM-5.2
结语
本期为大家介绍了基于MindSpeed LLM部署高效部署GLM-5.2模型训练，更多关于大语言模型训练的能力和技术，欢迎开发者体验、贡献与共建！
MindSpeed LLM开源仓库：
https://gitcode.com/Ascend/MindSpeed-LLM
昇腾开源微信小助手：
ascendosc
