首页 / 资讯详情
像素级对标？智谱、Kimi 底层参数「撞衫」背后，藏着线性注意力的黄金窗口
摘要
国产大模型内卷到算子底层。 作者丨高允毅 编辑丨岑 峰 昨晚，智谱 AI 认领了最近一周在 OpenRouter 盲测榜上风头最盛的“牛来”模型，正式命名GLM-5.3-Flash。这款上线首日就登顶 OpenRouter 调用量榜单，刷新全网长文本性价比斩杀线的国产模型，在底层架构上展现出“集百家之长”的特质。它采用了混合架构，将 DeepSeek 的稀疏注意力机制（NSA） 与 Kimi 赖以成名的线性注意力机制结合 ，再叠加DeepSeek的流形约束超连接（mHC）技术，可以大幅降本提效。今天早上，月之暗面核心研究员、“注意力残差”论文作者陈广宇，仔细研究了 GLM-5.3-Flash 的模型配置文件后，贴出一张 Kimi K3 和 GLM-5.3-Flash 的底层代码对比图。他发现两者不仅都采用了 KDA 线性注意力，排布逻辑高度重合，连核心参数“遗忘门下界”（gate_lower_bound） 同样是 - 5。从 Kimi K3 公开技术报告到智谱上新，还不到一个月。有人感叹：哪怕是参考了 Kimi 的公开参数，短短 20 天内就能推出这么强的模型，也太惊人了。这背后其实是一种技术必然。在大模型长文本的深水区，KDA，尤其是它的核心参数，一直是实现“长记忆”和“训练稳定性”的关键。线性注意力发展到今天，数值稳定的最优区间本就极度狭窄。即便是顶尖团队各自独立试错，最终也往往会收敛到同一个数值。-5数值背后，既是Kimi K3在开源领域的巨大辐射力，也揭开了中国最顶尖的大模型团队，正不约而同迈进了同一个底层算子优化的技术深水区。01KDA的核心参数，为什么都选择-5？为什么两家顶尖大模型团队，会不约而同地把 KDA 的核心参数设为 -5？要解答这个问题，得先搞懂大模型在长文本赛道经历了什么。过去，传统 Transformer 架构用的是 Softmax 注意力机制，它保留了大模型的完整记忆。大模型会把每一个 Token 都存进 KV 缓存，随着对话拉长，计算量会呈平方级（）暴涨，KV 缓存的显存占用也随上下文长度线性攀升，当上下文拉到百万级别，光 KV 缓存就能吃掉几十 GB 显存，推理成本高到无法商业化。为了把成本打下来，行业开始转向“线性注意力”路线。月之暗面的 KDA 正是其中代表。它不再保存全量 KV 缓存，而是用一块固定大小的状态矩阵压缩历史信息，模型一边写入新内容，一边用一个名为 “遗忘门” 的组件来控制旧信息的衰减。这样无论后续涌入多少文本，占用的显存基本保持恒定。这也是近期百万级长文本 API 能卖出“白菜价”的底层逻辑。但这套 “压缩记忆”的模式 也有自己的天然缺陷，那就是数值溢出。线性注意力靠循环乘法来更新状态，当它每处理一个新 Token，旧状态就要乘一次遗忘门系数。当上下文越来越长，乘法次数多了，数值要么不断变小直到彻底归零，要么反向暴涨成无穷大。这个过程，只要算出一个错误结果（NaN），训练直接崩溃，千万级算力直接打水漂。这就是线性注意力过去没有被广泛使用的原因。这个瓶颈卡了很多年，直到一个名叫杨松霖的哈佛博士生，发表门控线性注意力（GLA）论文，系统提出门控状态衰减方案，这一问题才有了系统性的学术解决思路。他首次系统提出必须给状态衰减设一个“下限”，不允许它无限趋近于 0。但从学术成果到大规模工