首页 / 资讯详情
字节发现 DeepSeek 的周期性弱点，我们实测了 V4.1，结果不太一样
摘要
同一段代码，前面只增加无关Token，DeepSeek会改变答案吗？ 作者丨李娜 编辑丨岑峰 01DeepSeek为何有时答对、有时答错？同一道代码补全题，前面只增加几个无关Token，DeepSeek就可能改变答案。（详情可见：字节发现 DeepSeek 隐藏 Bug，加点空格，模型翻车）这是字节Seed在9月底一项研究中发现的现象。研究人员观察到，DeepSeek-V4-Flash基础模型会随着代码前方无关注释的长度变化，在正确答案“8”和错误答案“32”之间周期性切换。 (雷峰网)但这个存在于旧版基础模型中的异常，今天还能测出来吗？我们找来Seed论文使用的代码，通过DeepSeek官方API，对现役V4.1-Flash进行了两轮测试。结果与论文中的典型案例并不相同：固定采样的64组全部答对，另一轮测试中正确答案也始终占据预测概率首位，但它得到的概率却随着输入发生变化。02字节找到了DeepSeek的周期性弱点为了降低长上下文的推理成本，DeepSeek V4采用了两种交替使用的注意力机制。DeepSeek V4的CSA与HCA架构示意图CSA（压缩稀疏注意力），将8个Token组成一个压缩窗口，每隔4个Token生成一条压缩记录，再从中筛选与当前问题最相关的信息。HCA（重度压缩注意力），压缩得更加激进，每128个Token只保留一条压缩记录，但会读取全部历史压缩记录。两种机制承担不同的工作：前者尽可能保留细粒度的检索能力，后者以更高的压缩率提供全局信息。论文发现，DeepSeek V4系列的性能漂移与CSA和HCA的分块KV压缩有关。同一条信息只要前后挪动几个token，就可能落入不同的压缩位置，改变保留和检索的效果。研究人员将这种位置称为“相位”（Phase）。如果模型更擅长检索某些相位的信息，却容易忽略另一些相位，即使关键信息本身没有变化，模型也可能从答对变成答错。这就是所谓的“相位敏感性”。图：8 Token压缩窗口、4 Token步幅示意图为了验证这一现象，团队将实验扩展到128K上下文，让模型从1.6万条键值记录中寻找指定信息。结果，DeepSeek-V4-Flash-Base表现最好的位置分组准确率达69.9%，最差的只有29.7%，相差40.2个百分点，且波动周期与压缩步幅一致。问题究竟出在哪里？Seed进一步基于Qwen3-0.6B架构训练了多组对照模型，尝试排除其他因素。研究人员去掉位置编码RoPE，周期性弱点依然存在；取消可学习的压缩门控，改用均匀平均，弱点也没有消失。当压缩步幅分别设为4、6、8、12时，准确率波动的周期也随之改变，而全注意力对照模型没有出现同样明显的现象。这些实验将问题指向了分块缓存压缩机制，而不只是某次代码补全的偶然错误。当然，40.2个百分点是特定基础模型在受控检索实验中的最好与最差位置差距，不能直接理解为DeepSeek在日常使用中的准确率下降。03我们实测了DeepSeek V4.1:答案没翻转，概率出现波动我们参考论文中的FP8代码补全实验，调用DeepSeek官方API，对现役V4.1-Flash进行了一轮测试。（Seed最初观察到答案翻转的模型是DeepSeek-V4-Flash-Base，目前已无法通过我们使用的官方API调用。）测试方法并不复杂：保持代码不变，只调整前