DeepSeek推出流形约束超连接（mHC）技术，提升AI模型性能
在中国人工智能与机器人崛起的进程中，DeepSeek曾发表一篇论文，介绍其开发的流形约束超连接（Manifold-Constrained Hyper-Connections，简称mHC）技术。该技术旨在改进大语言模型学习新知识的残差连接机制，从而显著提升模型性能。
mHC在AI模型中的工作原理
AI模型采用分层结构，指令在各层间传递并执行计算，训练时梯度信号反向传播。2015年发明的残差连接虽改善了梯度传递的稳定性，但后续推出的超连接（Hyper-Connections）仍面临技术挑战。本周DeepSeek发布的mHC架构作为改进版，利用“流形”数学结构确保梯度传输更稳定，有效解决了上述难题。
实测性能卓越，硬件效率大幅提升
为验证该架构，DeepSeek团队训练了30亿、90亿及270亿参数规模的三个LLM，并与同规模超连接模型进行对比。结果显示：
- 基准测试领先：mHC模型在八项AI基准测试中均表现出更高性能；
- 硬件负载更低：相比严重增加内存需求的超连接，mHC仅增加了6.27%的额外硬件负载。
团队成果与战略意义
mHC由包括Zhenda Xie、Yixuan Wei和Huanqi Cao在内的19名研究人员共同开发。实证结果证实，与传统HC相比，mHC具备更优越的可扩展性，能有效支持大规模训练。DeepSeek正致力于通过这一高成本效益的新方法优化模型，以增强与美国竞争对手抗衡的实力。