像素级对标？智谱、Kimi 底层参数「撞衫」背后，藏着线性注意力的黄金窗口
产业动态
来源：雷峰网发布时间待核实
国产大模型内卷到算子底层。 作者丨高允毅 编辑丨岑 峰 昨晚，智谱 AI 认领了最近一周在 OpenRouter 盲测榜上风头最盛的“牛来”模型，正式命名GLM-5.3-Flash。 这款上线首日就登顶 OpenRouter 调用量榜单，刷新全网长文本性价比斩杀线的国产模型，在底层架构上展现出“集百家之长”的特质。 它采用了混合架构，将 DeepSeek 的稀疏注意力机制（NSA） 与 Kimi 赖以成名的线性注意力机制结合 ，再叠加DeepSeek的流形约束超连接（mHC）技术，可以大幅降本提效。 今天早上，月之暗面核心研究员、“注意力残差”论文作者陈广宇，仔细研究了 GLM-5.3-Flash 的模型配置文件后，贴出一张 Kimi K3 和 GLM-5.3-Flash 的底层代码对比图。 他发现两者不仅都采用了 KDA 线性注意力，排布逻辑高度重合，连核心参数“遗忘门下界”（gate_lower_bound） 同样是 - 5。 从 Kimi K3 公开技术报告到智谱上新，还不到一个月。有人感叹：哪怕是参考了 Kimi 的公开参数，短短 20 天内就能推出这么强的模型，也太惊人了。 …