继此前发布基于MIT许可证的DeepSeek-V3-0324及面向代理时代的DeepSeek V3.1后，中国AI公司DeepSeek近日凭借在基准测试中表现更稳定可靠的DeepSeek-V3.1-Terminus引发关注。如今，该公司又推出了名为DeepSeek-V3.2-Exp的实验性模型。据官方介绍，该模型在保持与V3.1-Terminus几乎相同输出质量的同时，能够更高效地处理长文本。
引入DSA技术优化长文本处理
根据公开信息，V3.2-Exp基于V3.1-Terminus模型构建，并引入了DeepSeek稀疏注意力（DSA）技术。该技术预计将显著改善长上下文场景下的训练和推理效果。
与传统注意力机制需将每个词与其他所有词关联评估、导致计算资源呈指数级增长不同，稀疏注意力机制仅选择处理长文本的相关部分，从而大幅降低算力需求。得益于DSA机制，开发者可为完整文档实现更快的训练速度和更低的推理成本。
基准测试对比：编程能力小幅提升
DeepSeek对V3.2-Exp与V3.1-Terminus进行了全面对比。为确保公平比较，双方采用了相同的训练配置：
- MMLU-Pro等通用基准：两个模型均获得85.5分，成绩持平；
- Codeforces编程基准：V3.2-Exp以2121分略优于V3.1-Terminus的2046分。
开源许可与部署支持
V3.2-Exp采用允许商业和学术使用的MIT许可证，可通过多种平台供开发者使用：
- 平台支持：HuggingFace提供模型访问，vLLM提供推理支持；
- 硬件兼容：支持从Nvidia H200到AMD芯片等多种硬件配置；
- 本地部署：官方提供了推理代码。需注意，将HuggingFace模型权重转换为本地使用时，可能需要针对GPU配置进行专业调整。