（本文阅读时间：8 分钟）
大模型预训练始终面临“稳定性”与“效率”的双重挑战：既要确保训练过程可持续扩展，又要追求极致的收敛速度。这一过程犹如“戴着镣铐跳舞”，需在多重约束下最大化模型潜力。
近日，微软亚洲研究院提出全新优化器——Spectral Sphere Optimizer（SSO）。该研究基于μP（Maximal Update Parametrization）理论，首次将训练稳定性与最速下降目标统一于同一理论框架，推导出兼顾两者的唯一数学解。工程实现上，SSO 通过谱球约束、切空间更新与谱球回缩机制，在无需依赖 Weight Decay 等传统技巧的情况下，实现了更稳定、高效的大模型预训练。相关论文已被 ICML 2026 接收为 Oral 作品。
什么才是真正的训练稳定性？
“快”易于定义，即经典的最速下降（steepest descent），让 Loss 下降最快；而“稳”的定义则更为复杂。
研究员指出，真正的稳定性应源于模型自身的“健康指标”：若模型所有层的输入输出始终保持统一尺度，且该尺度与层形状无关，激活值（activation）才算真正稳定。这正是经典μP 理论的核心性质。满足μP 后，模型即使扩展至任意宽度，仍能保持一致的训练动态，具备小模型超参数直接迁移、无需重新调参即可扩展、可拟合规模法则（scaling law）并预测最优 Loss 等显著优势。
简言之，本研究从μP 理论作为稳定性最佳度量的视角出发，推导出使 Loss 最速下降的优化器，SSO 即为该问题的唯一数学解。
图 1：Dense-1.7B 模型激活值在训练过程中的变化趋势
为什么需要谱球约束？
在 SSO 出现之前，业界常通过 AdamW 引入的解耦式权重衰减（Decoupled Weight Decay）来稳定训练。该方法通过将权重向 0 拉近以维持稳定，但会导致相对更新量（Δw/w）动态变化并与学习率耦合，造成复杂的训练动态。为此，学术界提出了多种权重衰减调度策略（Weight Decay Scheduler）试图改善，但本质上“拉向 0"与学习率之间仍存在博弈，实际训练中仍易出现不稳定现象。
此外，初始化技巧无法根治问题，因权重随训练进行终将偏离初始尺度；架构层面的稳定技巧（如 QK-Norm、Sandwich Norm）虽能提升稳定性，却往往需额外调参甚至牺牲模型能力上限，并非优雅方案。
因此，研究团队致力于寻找一种统一方法：既摆脱对 Weight Decay 的依赖，又尽量减少额外 Norm 设计。
从 μP 理论推导唯一数学解
若要满足μP 理论，前向传播权重 W 与反向传播更新量Φ=ΔW 均需满足特定谱范数约束：
其中谱范数定义为：
研究发现，μP 理论天然要求权重和更新位于谱范数球（Spectral Sphere）表面。值得注意的是，Muon 优化器的更新规则恰好满足μP 中关于更新量谱范数的约束。这启发研究者思考：若能同时满足μP 全部要求，是否可获得更理想的优化器？
在谱球约束保障稳定性的基础上，核心问题转化为：如何在此约束下实现 Loss 最速下降？通过对 Loss 函数在当前权重处进行一阶泰勒展开，结合谱球约束（半径 R 可吸收到学习率中），可得兼顾“稳”与“快”的优化目标：
让更新始终贴着球面下降
进一步化简优化目标，研究员发现更新方向必须位于谱球的切空间（tangent space）内，即更新需始终贴着球面下降，而非向球心收缩。如此既能保持权重位于谱球面上，又不损失梯度法向的有效信息。
该问题最终转化为经典线性优化问题，并通过拉格朗日乘子法求解。由于拉格朗日函数 h(λ) 单调不减且零点有界，可通过二分搜索高效求得唯一乘子λ⋆，进而得到最优更新方向。
图 2：SSO 中拉格朗日函数 h(λ) 的理论性质。因其单调性且有界零点，可通过二分搜索高效求解。
与 Muon 相比，SSO 引入了微扰项，使更新方向严格投影至谱球切空间，从而在满足μP 约束的同时实现真正意义上的最速下降。
图 3：最速下降更新方向的几何结构
如何让 SSO 高效运行
尽管拉格朗日函数性质优良，但其解析解尚未找到，实际求解依赖数值迭代。SSO 采用二分搜索策略，并观察到λ的形式可能仅依赖梯度 G 的均值与标准差，未来有望进一步简化计算。
图 4：随机矩阵条件下 h(λ)=⟨Θ,msign(G+λΘ)⟩的经验曲线
为防止长期训练中数值误差累积导致权重偏离谱球，SSO 引入“谱球回缩”（Spectral Retraction）机制：对整个权重矩阵统一缩放，使其最大奇异值始终保持为目标半径 R。
利用幂迭代法（Power Iteration）求取最大奇异值的成本远低于 msign 计算。鉴于训练中谱范数变化平缓、奇异向量连续性强，SSO 缓存上一轮奇异向量作为下一轮初始化，仅需少量迭代即可达到高精度，显著降低开销。
研究团队曾尝试仅裁剪最大奇异值的 mclip 方案，但因数值精度问题及额外计算负担，最终未采纳。
用谱球替代权重衰减
谱球回缩机制基本消除了隐藏层使用权重衰减的必要性。既然谱球半径 R 已定义并维持权重的最佳尺度，Weight Decay 的作用被自然替代。SSO 成功移除这一历史遗留超参数，大幅降低调参复杂度。
同时，研究者获得了对 Attention/FFN 模块输入输出尺度的完全控制能力。通过调节参数 c，可整体控制各模块输出尺度，使激活值 rms 在全网保持一致，有效抑制异常值，提升训练健康度与稳定性。
图 5：半径缩放对优化过程与激活值尺度的影响
参数 c 还可理解为 Attention/FFN 分支与残差流的混合比例，决定模型最优初始化与激活尺度，是未来重要研究方向。
SSO：兼顾稳定性与训练效率的新优化框架
SSO 整体流程清晰：计算最大奇异值 → 回缩至谱球面 → 在切空间内计算更新 → 完成参数更新，循环执行。
实验验证显示，SSO 在“内科”指标上表现优异：激活值 rms 曲线近乎理想，异常值显著受抑（AdamW 异常值常增长百倍）。在最终效果上，SSO 在不同规模模型中均取得比 AdamW 和 Muon 更低的 Loss，并保持优秀的学习率转化能力，真正实现稳定性与效率的统一。
Controlled LLM Training on Spectral Sphere (ICML 2026 Oral)
论文链接：
https://arxiv.org/abs/2601.08393
项目页面：
https://github.com/Unakar/Spectral-Sphere-Optimizer
Megatron 代码：
https://github.com/Unakar/Megatron-LM/tree/SSO_main
#大模型预训练 #大模型优化 #ICML #AI 训练稳定性 #AI 训练效率 #可解释 AI