DeepSeek研究人员于周一发布实验模型V3.2-exp，旨在显著降低长上下文操作的推理成本。该模型已在Hugging Face上线，相关学术论文同步发布于GitHub。
新模型核心功能为“DeepSeek稀疏注意力”（DeepSeek Sparse Attention），其工作机制如下：
- 闪电索引器（Lightning Indexer）：优先处理上下文窗口中的特定片段；
- 细粒度令牌选择系统（Fine-grained Token Selection System）：从上述片段中筛选特定令牌，加载至有限的注意力窗口。
两者结合使模型能在较长上下文中高效运行，同时保持较低的服务器负载。
在长上下文场景下，该系统优势显著。初步测试显示，简单API调用价格最高可降低50%。由于模型采用开放权重并在Hugging Face免费提供，第三方有望很快对论文主张进行稳健评估。
V3.2-exp是近期解决推理成本问题的突破之一。DeepSeek致力于优化基础Transformer架构的运行效率，并证实存在显著改进空间。
作为AI热潮中的独特存在，DeepSeek曾凭借低成本强化学习训练的R1模型引发关注。尽管未如预期般彻底颠覆AI训练范式，且近期热度有所回落，但此次推出的“稀疏注意力”方法仍具实用价值，或能为行业提供控制推理成本的有效技术路径。