AI 大模型虽为生活带来便利，但在处理长文本时面临严峻的显存瓶颈。将一篇十万字文档载入模型，仅记忆内容便需占用数十 GB 显存，普通显卡难以承载，即便勉强运行，推理速度也大幅降低。
近日，英属哥伦比亚大学与微软研究院联合研发出名为 SeKV 的新方法。该研究共同作者之一为何宇航（音），其为武汉大学本科校友、牛津大学博士，现任微软研究院高级研究员。
SeKV 方法在基本不影响回答准确率的前提下，将长文本处理的显存占用减少了一半以上。测试显示，在处理 128K 长度文本时，其显存占用较完整缓存降低超 50%；而在仅使用原有十分之一显存的条件下，准确率较现有语义压缩方法平均提升近 6 个百分点。
该技术无需昂贵硬件升级或重新训练大模型，仅需在现有模型上增加一个参数量低于万分之五的小模块即可实现性能跃升。这意味着，配备 24G 显存的消费级显卡，原本无法运行 100K 以上长文本，应用 SeKV 后可支持接近 300K 长度的文本处理。
（来源：相关论文）
突破长文本处理的显存瓶颈
大模型在阅读文章时，需缓存每个词的键值对以供生成回答时调用，这是防止模型“遗忘”前文的关键机制。然而，该缓存量随文本长度呈线性增长：当文章从一万字增至十万字，缓存占用也从几 GB 激增至几十 GB，导致显存增长速度远滞后于文本长度增长。
既往解决方案多采取取舍策略：部分方法直接丢弃部分缓存，仅保留最近内容或关键词，虽节省显存却导致信息永久丢失，一旦提问涉及被删内容，模型只能依靠猜测；另有方法将缓存压缩为摘要，但压缩决策在阅读瞬间即固定，后续若需细节则无法还原。
SeKV 技术原理：分级存储与动态检索
SeKV 另辟蹊径，采用语义分段策略。系统将内容按语义切分为段落，仅在显存中保留各段落的浓缩摘要用于快速检索，而原文详细内容经压缩后存储于 CPU 内存中。当模型判定某段落与当前提问相关时，再从 CPU 调取详细数据。
该方案实现了信息零丢失，所有文字均被保留，只是大部分时间处于压缩状态，显存中仅存放摘要与关键锚点。这类似于图书馆检索机制：书架上陈列目录与索引，读者需先通过电脑或管理员定位具体书籍位置，再获取全文。
在 SeKV 架构中，语义边界上的关键锚点如同书籍封面与标题，始终置于显眼位置，极大提升了检索效率。
（来源：相关论文）
奇异值分解实现高效压缩
将详细内容压缩至原体积二十分之一且不丢失核心信息，依赖于奇异值分解（SVD）这一数学策略。该技术从数据中提取主要特征，将每个段落的键值矩阵分解为三个小矩阵，仅保留最重要的几十个成分。
当需要恢复某段落时，只需将这三个小矩阵相乘，即可得到高度接近原始内容的近似版本。其原理类似于将文章链接生成二维码：用户扫码即可查看全文，过程可逆且信息完整。
轻量级路由模块无需重训
整个系统仅需训练一个小型路由模块，用于判断哪些段落与当前问题相关。该模块参数量仅为基座模型的万分之五，在八张 A100 显卡上训练 2 至 6 小时即可完成，可直接部署于现有大模型，无需重新训练或微调。
应用场景与行业价值
从实际应用来看，SeKV 技术将显著降低长文本处理门槛。无论是律师审阅数百页合同、科研人员通读数十篇论文，还是读者利用 AI 总结长篇小说，均不再受限于显存容量。该技术通过牺牲微量精度换取成倍的显存节省，为长文本应用提供了可行的中间方案。
参考资料：
相关论文：https://arxiv.org/pdf/2606.31145
作者主页：https://www.linkedin.com/in/yuhang-he-7b20344b/