>

字节发现 DeepSeek 隐藏 Bug，加点空格，模型翻车

>

字节发现 DeepSeek 隐藏 Bug，加点空格，模型翻车

字节发现 DeepSeek 隐藏 Bug，加点空格，模型翻车

AI科技评论

2026-10-10

6

导读：DeepSeek 的省钱杀手锏，为何成了致命盲区？

DeepSeek 的省钱杀手锏，为何成了致命盲区？

作者丨高允毅

编辑丨岑峰

同一个问题问 DeepSeek 两次，仅因多了几个空格，给出的答案竟天差地别。9月底，字节团队发表最新论文《Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression》，直接指出了 DeepSeek V4 系列模型存在的“神鬼二象性”问题。

图注：论文链接 https://arxiv.org/pdf/2609.36322

该问题的本质是底层算法为节省成本导致的“周期性失忆”。分块 KV Cache 压缩技术将长上下文切块处理，导致“位置决定命运”。若核心信息恰好落在切块交界的“信息盲区”，模型便会忽略该信息并产生错误结论。这种由输入格式微小变化引发的严重错误，在合同审阅等长文本场景中极具隐蔽性和危害性。

值得注意的是，这一短板并非 DeepSeek 独有。在当前追求降低长文本成本的背景下，采用类似分块压缩或稀疏化技术的模型（如开源的 Llama 3 系列）均存在不同程度的类似问题。

字节论文揭示 DeepSeek “相位敏感性”缺陷

字节团队的发现源于一次代码补全测试。研究人员让 DeepSeek-V4-Flash-Base 补全一段 FP8 量化函数的最后一个 Token。按逻辑正确结果应为 8，但因在代码前添加了一串装饰用的等号，模型输出了错误结果 32。

进一步测试显示，错误率与等号数量呈周期性相关：当等号数量除以 4 余数为 0 或 1 时，错误率高达 71.3%；余数为 2 或 3 时，正确率则达 91.5%。

深入研究后发现，这是分块 KV Cache 压缩技术带来的先天短板。该技术将连续 Token 按固定长度切割并压缩，以减轻显存压力。然而，这导致 Token 在压缩段内的相对位置（即“相位”）变得至关重要。门控层会为不同位置的 Token 分配不同的权重（槽位增益因子），处于强势槽位的 Token 被保留，而处于盲点槽位的 Token 则被忽略，这种现象被称为“相位敏感性”。

此外，注意力头形成了自然分工，专门处理段内特定位置的信息，导致某些排位成为薄弱环节。在长达 128K Token 的“大海捞针”测试中，DeepSeek-V4-Flash-Base 在不同位置的准确率差距最大达 40.2%，即使经过后训练优化，差距仍显著存在。

DeepSeek 曾尝试通过减小压缩步长（从 4 降至 2）来缓解该问题，使准确率差距降至 6.1%，但未能根除。字节团队通过控制变量实验证实，只要采用固定长度的分块压缩，周期性准确率波动就无法避免。这与位置编码无关，也非参数调整所能解决，而是方案本身的结构缺陷。

图注：压缩步长分别为 4、6、8、12 时，准确率波动周期与之严格对应。

业界观点认为，彻底解决此问题需引入“动态分块”技术，即根据内容重要程度动态决定切块边界，消除固定的相位差异。

“动态分块”技术：重构长文本处理范式

动态分块的核心在于抛弃固定 Token 数量的切分模式，根据语义密度灵活调整。这一技术思路对算法数学基础、显存管理及底层硬件适配提出了全新要求。

▎第一层：重构注意力的数学基础

动态分块遵循“大小跟着内容走”原则：低密度信息大块合并，高密度关键信息精细拆分。这不仅重构了被固定分块打破的平移不变性，还赋予模型基于信息密度的“预判能力”，实现类似人类“快慢思考”的推理节奏。

▎第二层倒逼显存管理演进

传统静态连续矩阵难以适应动态分块，底层存储需向“拓扑稀疏矩阵”演进，并通过动态索引寻址。研究发现，不同 Transformer 层间的动态分块边界高度相似，可复用索引以摊薄开销，从而实现上层智能切分与底层高效存储的统一。

▎第三层：破解硬件对齐难题

GPU 偏好规整矩阵运算，不规则分块可能导致加速单元空转。目前业界通过零填充算法，在物理显存层面紧密拼接动态语义块，同时在逻辑上保留边界，有效解决了硬件对齐问题。

全球顶级 AI 实验室正从“语义连续性”和“稀疏计算两个方向推进动态分块技术。香港科技大学（广州）团队提出的 ChunkKV 代表了“语义连续性”方向，它以连续语义块为压缩单位，避免了传统方法将完整句子拆碎的问题。在 NIAH 基准测试中，ChunkKV 准确率显著高于传统方法 SnapKV。

Jina AI 肖涵博士团队提出的延迟分块方案，则通过先全局理解再按语义切分，最大程度保留完整信息。而在“稀疏计算”领域，微软亚洲研究院研发的 MInference 框架，利用注意力矩阵的稀疏规律，在百万字长文本预填充阶段实现了最高 10 倍加速，且不降低检索准确率。

随着长文本应用从单纯追求长度转向注重实用性，动态分块技术已成为新一代大模型提速、提质的核心突破口。

参考链接：

https://arxiv.org/pdf/2609.36322

https://www.zhihu.com/question/2091513666864682278

上车，带你看遍全球 AI 顶会精华

可独家畅览：

专家演讲PPT

大会报告全文

热门论文解读

学术新星访谈

//

推荐阅读

DeepSeek 开源算子工具大礼包，联手华为昇腾，手撕 CUDA 绑定！

深度拆解 Sonnet 5.5 ：半价 Opus 只是表象，Agent Runtime 才是变化核心

未经「AI科技评论」授权，严禁以任何方式在网页、论坛、社区进行转载！

公众号转载请先在「AI科技评论」后台留言取得授权，转载时需标注来源并插入本公众号名片。

【声明】内容源于网络

0

0

AI科技评论

聚焦AI前沿研究，关注AI工程落地。

内容 8987

粉丝 0

AI科技评论聚焦AI前沿研究，关注AI工程落地。

总阅读272.7k

粉丝0

内容9.0k