DeepSeek 连自己官方开源的推理代码都能写错，且错误呈现高度规律性。
近期，字节跳动 Seed 团队在测试 DeepSeek-V4 时发现异常：在补全其 FP8 推理内核代码时，标准答案应为 8，模型却频繁输出 32。更令人费解的是，仅在无关注释中增加装饰性符号，模型的答案便在 8 和 32 之间周期性翻转，每 4 个 Token 重复一轮。
针对这一非随机误差，字节 Seed 团队联合普林斯顿大学、斯坦福大学及加州大学伯克利分校研究人员，对 DeepSeek-V4 及 V4.1 展开系统测试。最新论文《Periodic Weak Spots: Phase Sensitivity from Chunked KV-Cache Compression》（周期性弱点：分块 KV 缓存压缩引发的相位敏感性）揭示了 DeepSeek 压缩稀疏注意力架构中存在的技术缺陷。
实验显示，在 128K 长上下文检索中，仅因目标信息所处的 Token 位置不同，DeepSeek-V4-Flash 的检索准确率落差高达 40.23 个百分点。
尽管 DeepSeek 团队已在 V4 后训练版本及 V4.1 中改善了固定大步长带来的相位缺陷，但未能完全消除周期性性能差异。Seed 团队将这种现象定义为“相位敏感性”（Phase Sensitivity），即长文本压缩机制下难以回避的周期性软肋。
该论文第一作者为字节 Seed 实习生、普林斯顿大学博士生朱星宇（Xingyu Zhu）。其研究视角从“上下文错误干扰推理”延伸至“位置滑动瘫痪检索”，展现了敏锐的技术洞察力。论文正文仅 10 页，其余 52 页为涵盖因果干预、注意力头消融及数学证明的附录，完成了对 DeepSeek 异常现象的深度技术溯源。
问题的源头：神鬼二象性
DeepSeek-V4 为实现低成本超长文本处理，在架构中交替使用了两种激进的压缩注意力机制：
CSA（压缩稀疏注意力）：采用长度 8、步长 4 的重叠滑动窗口，削减四分之三 KV 数据量，再通过 Indexer 挑选关键块进行稀疏计算；
HCA（历史压缩注意力）：压缩幅度更大，每 128 个 Token 合并为一条，全局读取无重叠。
这套设计虽极大降低了显存与算力成本，却在数学上打破了 Transformer 的平移对称性。原生 Transformer 中，RoPE 编码仅关注相对距离，Token 绝对位置不影响注意力分布。但在 CSA 机制下，每 4 个 Token 打包一次，使每个 Token 获得了隐式的物理属性——相位（Phase），即绝对位置除以步长 4 的余数。
不同相位的信息在压缩过程中保留程度不同：部分位置信息完整保留，部分则被大幅削弱。若信息恰好处于“盲区”，其在物理层面并未写入 KV Cache。后续检索时，模型只能基于局部统计概率拼凑，导致表现如同“抽风”。这种“对齐则超神，踩盲则超鬼”的现象，被业界调侃为 DeepSeek 的“神鬼二象性”。
字节 Seed 的解剖实验
V4 步长为 4，对应 4 种相位。实验证实，信息在某些相位易被找回，在另一些相位则沦为检索死角。
在 FP8 代码补全实验中，仅改变前置文档字符串长度，模型便在正确值 8 与错误值 32 间周期性切换，64 次比较中有 60 次符合该规律。而未采用分块 KV 压缩的 V3.1-Base 未出现此现象。
在 128K 长上下文“大海捞针”实验中，DeepSeek-V4-Flash 基座模型在最差位置组的检索准确率仅为 29.69%，最好位置组达 69.92%，相差 40.23 个百分点。经后训练的 V4-Flash-0731 差距缩小至 19.14 个百分点，V4-Pro 系列也存在类似落差。
值得注意的是，主流评测如 NIAH 或 RULER 因采用均匀采样，强势与弱势槽位分数相互抵消，掩盖了这一问题。Seed 基于 Qwen3-0.6B 的对照实验显示，全注意力模型与压缩模型平均准确率相近，但压缩模型最差位置准确率断崖式跌至 9.9%，极差高达 71.1 个百分点。这揭示了传统平均分评测的盲区：无法反映模型在特定位置的“突然瘫痪”。
DeepSeek 对 V4.1 的修复与局限
DeepSeek 于 9 月 10 日发布 V4.1-Flash，早于字节 Seed 论文提交时间（9 月 28 日），表明其已意识到相关隐患并着手改进：
压缩步长减半（CSA2）：将步长从 4 降至 2，缩短窗口；
引入 Engram 模块：通过条件记忆结构分担注意力计算负担，提升长程调度能力。
评测显示，V4.1-Flash 最好与最差相位的落差从 40% 收窄至 6.1 个百分点。但周期性并未消失，而是退化为以 2 为周期：偶数位置准确率约 95%，奇数位置约 89%-90%。这印证了只要保留固定步长的分块压缩，相位敏感性的本质便无法彻底消除。
同行揭短也是开源的价值
此次缺陷由走闭源路线的字节 Seed 团队揭示，核心在于 DeepSeek 开放权重带来的底气。正如社区所言，“敢亮底牌引来全行业顶尖大脑排查盲区”，竞争对手亦可成为有价值的“审查员”。
此事也折射出系统工程与算法团队的博弈。CSA 策略虽提升 Infra 效率，却可能牺牲信息保真度。底层系统深度介入模型结构设计后，系统团队需对训练结果负责。硬件吞吐的每一次妥协，都可能由算法表达买单。
声明：本文为 InfoQ 原创，不代表平台观点，也不构成投资建议，未经许可禁止转载。
