henry 发自 凹非寺量子位 | 公家号 QbitAI

DeepSeek V4“迟到”半年，但颁布后的好评如潮还在如潮。

中表热搜上了一整圈，科技媒体的版面今天都让给了它，OpenAI也成了它的渲染。

各人惊叹于DeepSeek在有限前提下作出沉大突破的创造力，也佩服其在2026年，还能坚定选择开源路线的刻意。

能够说，一功夫信息多的有些超载，但多归多，主线就两条。

第一条，百万token高低文全面开源，KVcache大幅缩减。

V4-Pro和V4-Flash，1.6万亿参数/2840亿参数高低文都是1M。1M场景下，V4-Pro的单token FLOPs只有V3.2的27%，KV cache只有10%。

亚马逊硬件师GPD暗示，这意味着DeepSeek可能解决当前的HBM欠缺问题。

第二条，国产芯片适配，已经支持华为算力，预计下半年昇腾950超节点批量上市。

此表，各人最关切的，还莫过于在从前四个月中，DeepSeek陆续放出了几篇「可能进V4」的论文，今天技术汇报开源了，能够对一下账。

mHC（流形约束超衔接）：2025年12月31日上传arXiv，梁文锋挂名。进了V4。Engram（前提影象？椋1月DeepSeek结合北大颁布。没进V4，但在未来方向里被点名，留给V5。DualPipe：V3老店员。持续用，针对mHC做了调整。Muon优化器：从Kimi何处借的。V4把AdamW替了，收受绝大无数参数的训练。

四个预期，三个落地，一个给下一代。

整体架构

V4这一代，是DeepSeek系列里动刀最多的一版。相比V3，V4在三个处所做了升级。

第一，引入mHC（Manifold-Constrained Hyper-Connections）强化残差衔接。

第二，设计hybrid attention架构，CSA和HCA交替叠加，解决长文效能问题。

第三，选取Muon作为主优化器。

MoE部门依然用DeepSeekMoE，MTP（Multi-Token Prediction）？楦鶹3维持一致。

一些细节微调蕴含，affinity score的激活函数从Sigmoid换成了Sqrt(Softplus(·))，去掉了routing target nodes的数量约束，前几层dense FFN换成了用Hash routing的MoE层。

接下来，我们一个个看。

mHC，给残差衔接加一层约束

残差衔接是何恺明2016年在ResNet里提出来的，十年没怎么变过。模型一层一层堆，梯度沿着残差往回传，这是深度进建能work的前提。

但模型越来越深、参数越来越多之后，传统残差起头露怯，信号传递不稳，训练容易崩。

先说Hyper-Connections（HC），这是Kimi团队之前提出的设法。主题是把残差流从一维造成n_hc条并行通路，每层之间通过一个矩阵B来混合。

A、B、C是三个线性映射。设法很优雅，相当于给残差流增长了一个新的scaling维度。但DeepSeek在堆多层时发现，HC时时出现数值不不变，训练说崩就崩。

V4的做法叫mHC，把矩阵B束附】蹈双随机矩阵」的流形上（数学上叫Birkhoff polytope），行和列都归一化为1。这个约束带来两个益处。

矩阵的谱范数天然不超过1，残差传布套上硬上限，爆不起来。这种矩阵在乘法下是封关的，堆好多层也稳。

输入映射A和输出映射C则通过Sigmoid函数保障非负且有界，预防信号相互抵消。

实现上用Sinkhorn-Knopp迭代，交替做行归一化和列归一化，迭代20次收敛。整个过程对每一层都跑一遍。

听起来贵，但DeepSeek做了fused kernel，再共同选择性recomputation，实测mHC带来的wall-time开销节造在overlapped pipeline的6.7%。

技术判断上，mHC不是那种让人面前一亮的架构创新，更像是一个「稳得住大模型」的工程补丁。但随着模型深度和参数量持续往上推，这种补丁会造成刚需。

混合把稳力机造

这是全篇论文最厚的一块，也是「百万token效能」的主题魔法地点。

V4确把稳力层不是一种，是两种交替使用的结构，CSA（Compressed Sparse Attention）和HCA（Heavily Compressed Attention）。

CSA做两件事，先压缩，再稀少选择

第一步，KV压缩。每m个token的KV entries，通过一个带进建权沉的attention-like机造压成一个。

第二步，lightning indexer + top-k选择。这部门继承自V3.2的DSA。对每个query token，用一个轻量的indexer推算它和每个压缩KV块的有关性分数。

第三步，core attention。在选中的这top-k压缩KV块上做Multi-Query Attention，得到把稳力输出。

第四步，grouped output projection。由于V4把head dimension c设成了512（比V3.2的128大得多），若是直接把所有head的输出投影回d维会很贵，所以做了分组投影，把n_h个head分成g组，每组先投影到一个中央维度d_g，最后再归并投影回d。

整个CSA蹬宗做了两层压缩。第一层是序列长度压缩，n造成n/m。第二层是稀少选择，n/m造成top-k。对1M token的序列，正本必要attend 1M个token，此刻只必要attend 1024个压缩块。

HCA的思路更单一粗鲁，压得更狠，但不做稀少。

压缩率m’=128，每128个token压成一个。压缩过程也没有CSA那样的overlap，直接每m’个一组压。而后对所有压缩后的KV做dense attention。

论文里没有长篇大论地诠释CSA和HCA为什么要配对使用，但读齐全个architecture章节，能看出它们的分工。

CSA的压缩和善、靠稀少把关，适合做token-level的精密检索。HCA的压缩凶猛、维持dense，适合做长距离的全局信号汇总。

V4把两者层层交替。Pro有61层，Flash有43层，CSA和HCA一层一层往上叠。既不漏细节，也不被细节拖住。

此表，论文还泄漏了几个trick。

Q/KV normalization。CSA和HCA在core attention之前，都对query和KV entries做一次RMSNorm，预防attention logits爆炸。

Partial RoPE。只对query和KV entries的最后64维施加旋转地位编码，其余维度不动。

由于KV entries既做key又做value，naive的RoPE会让输出带上绝对位相信息，所以在output端也对应施加一个地位为-i的RoPE来抵消，只保留相对位相信息。这是个奇妙的工程处置。

Sliding window attention作为辅助分支。

由于压缩把稳力保障严格因果性，一个query token看不到自己压缩块内其他token的信息。为了赔偿近距离依赖，V4额表加了一个sliding window分支，每个query除了看压缩KV之表，还能看最近128个token的uncompressed KV。

Attention sink。借鉴OpenAI和StreamingLLM的trick，在attention分母上加一个learnable sink logit，允许attention score总和不蹬宗1。

这在长序列里尤其有效，能预防模型被迫把把稳力均摊。

Muon优化器

V4训练中绝大无数参数优化用的不是AdamW，是Muon。

Muon是前几年Keller Jordan那批人（他此刻在OpenAI）在幼模型上验证过的优化器，基于矩阵正交化。

它只优化2D参数矩阵，其他参数（embedding、prediction head、RMSNorm权沉、mHC的静态偏置等）还是走AdamW。

Muon在LLM规模上的第一次大规模验证是Kimi K2。 2025年，Moonshot用Muon（加上他们自己的QK-Clip变种，合称MuonClip）训了一个1T参数的MoE，15.5T token，全程零崩溃。

此刻DeepSeek也用上了。不外他们做了自己的版本，hybrid Newton-Schulz迭代，10步分两段。

前8步用激进系数，急剧把奇怪值推向1左近。后2步用和善系数，精确地把奇怪值不变在1。

这里有个细节值妥贴心。Kimi用Muon必要QK-Clip来预防attention logits爆炸，DeepSeek没用这招。他们的理由是，V4确把稳力架构允许直接对query和KV做RMSNorm，从源头把爆炸的可能压住了。

两家公司，统一个优化器，解决统一个问题，走的是两条路。这种跨团队的技术共享和各自演化，是2026年开源社区最有意思的一面。

模型训练

DeepSeek-V4系列在预训练数据量上实现了翻倍。

对比V3仅用14.8T Token训练，V4-Flash 与 V4-Pro 的数据亏损量别离达到了32T和33T。训练数据量整整翻了一倍多（增长约 1.2 倍）

数据组成上，长文档数据单独curate，优先收录科学论文和技术汇报这类有学术价值的长资料。tokenizer仍用V3的128K词表。

在模型架构上，V4-Flash，43层，暗藏维度4096。

MoE用1个shared expert + 256个routed experts，每token激活6个。总参数284B，激活13B。

V4-Pro，61层，暗藏维度7168。MoE用1个shared expert + 384个routed experts，每token激活6个。总参数1.6T，激活49B。

训练调度上，序列长度走四段，4K → 16K → 64K → 1M。sparse attention不是重新打开，前1T token用dense attention做warmup，扩到64K时才introduce sparsity。

论文暗示，训练中央出过一次严沉的loss spike，DeepSeek摸到两个土法子，Anticipatory Routing和SwiGLU Clamping。论文原话极度恳切，这两个trick work，但底层机理仍是open question。

一个训练了两个万亿参数MoE的团队公开认可「我们不知路为什么这两个trick管用」，在2026年已经是一件挺稀罕的事。

在后训练阶段，V4这一代做了一次步骤论代替，传统的mixed RL阶段被On-Policy Distillation（OPD）齐全代替。

流程分两步。

第一步，训domain specialist。

数学、代码、agent、指令追随四个领域，各自独立训一个expert。先SFT打底，再用GRPO做domain-specific RL。V4还引入了三档reasoning effort mode，Non-think、Think High、Think Max，每档输出长度分歧。

第二步，OPD归并。

十几个expert通过on-policy distillation合进一个统一的student。student自己rollout，最幼化reverse KL向对应领域的expert对齐。数学工作向数学expert靠，编程工作向编程expert靠。

步骤论听起来很优雅。但工程上装不下，十几个teacher每个都是万亿级，vocab size超过10万。

V4的做法是teacher权沉offload到散布式存储按需加载，只缓存hidden states不materialize logits，按teacher排序样本保障每个mini-batch只加载一个teacher head。

一套看似优雅的后训练步骤论，背后是一堆「不这样做就装不下」的工程妥协。

尝试结论

在尝试部门，有三件最值得说的事。

开源当先。

SimpleQA-Verified上V4-Pro-Max拿到57.9，K2.6是36.9，GLM-5.1是38.1。当先所有开源模型20个百分点。

匹敌关源。

Codeforces rating 3206，超过了GPT-5.4的3168和Gemini-3.1-Pro的3052，在人类选手榜单上排名第23？茨Ｐ推サ泄卦赐凡，这次是真的匹敌了。

差距仍在。

HLE上V4-Pro-Max 37.7，Gemini-3.1-Pro 44.4，Claude-Opus-4.6-Max 40.0。1M MRCR上V4优于Gemini但显著不如Claude。知识类和最前沿的推理工作仍有3-6个月的gap。

论文中，DeepSeek暗示：

DeepSeek-V4-Pro-Max在尺度推理benchmark上优于GPT-5.2和Gemini-3.0-Pro，但略落后于GPT-5.4和Gemini-3.1-Pro。这批注其发展轨迹约莫落后最前沿关源模型3到6个月。

Flash-Max可能是这篇论文最被低估的一部门。

V4-Flash-Max只激活13B参数，推理工作上能打平GPT-5.2和Gemini-3.0-Pro，代码和数学甚至超过K2.6-Thinking。

若是只看激活参数量，这是目前效能最极致的推理模型之一。

现实工作里最值得提的是内部R&D代码benchmark，V4-Pro-Max 67%，靠近Claude Opus 4.5的70%。

85人的内部开发者调研里，91%暗示V4-Pro能够作为主力coding模型。

在官方的推文中，也侧面印证了这个说法：

目前DeepSeek-V4已成为公司内部员工使用的Agentic Coding模型，据评测反馈使用履历优于Sonnet 4.5，交付质量靠近Opus 4.6非思虑模式，但仍与Opus 4.6思虑模式存在肯定差距。

在论文的最后，DeepSeek也暗示：

为了钻营极致的长文效能，V4系列采取了一个相对激进的架构设计。为了降低风险，我们保留了很多已经验证过的组件和trick，这让架构变得相对复杂。在未来的迭代中，我们将进行更全面、更有准则的钻研，把架构精简到最性质的部门。

未来方向几条，索求新维度的sparsity（点名了Engram那条线）、低延长架构、长时程多轮agentic工作、多模态、更好的数据curation。

有个蛮有意思的幼细节，在大局化数学评测中，DeepSeek也皮了一下友商：

我们在K2.6和GLM-5.1的部门条款留空了，由于它们的API太忙，没法实时返回我们查问的了局。

太火了，就是说。

把V4放回DeepSeek的齐全蹊径里看，它不是在追赶frontier。

从前三年的趋向极度清澈。关源大厂钻营的是能力上限，谁家的模型能在HLE上拿更高分。DeepSeek钻营的一向是另一条线，同样能力下的成本下限。

V4把这件事推到了百万token。一个1M的高低文，在V3.2的成本结构下是不成持续的，KV cache会把显存吃光。V4把它压到V3.2的10%，成本曲线忽然打直了。

那了局会怎么呢。一个很长的agent会话，一份反复回读的技术文档，一次跨多仓库的沉构，这些从前要切窗口、要加retrieval、要精心治理高低文的场景，在V4这里造成了「全塞进去看看再说」。

DeepSeek这几年做的事，底层作为很清澈，一向在删。从V2的MLA起头，每一代都在删KV cache、删激活参数、删把稳力推算量。

删到V4，单token推理FLOPs砍到四分之一，KV cache砍到极度之一。

百万token不是一个新的能力，是统一个高低文窗口被压到能够承担的成本。

One more thing

论文的结尾有一份长长的贡献者名单。

梁文锋在其中。

其中有不少带星号的名字，是已经脱离团队、但依然对V4做出过沉要贡献的钻研者。

从前这一年，关于DeepSeek人才流失的新闻传过好几轮。但这份名单把他们的名字和V4这个各人等了整整一年多的模型，绑在了统一张纸上。

每一幼我都算数，每一天也都算数。

V4颁布当天，DeepSeek钻研员陈德里在x上转发并写路：

DeepSeek-V3：2024年12月26日。

DeepSeek-V4：2026年4月24日。

484天后，我们谦卑地分享这份爱心的劳动。

一如既往，我们始终对峙持久主义和全民开源。

AGI属于每幼我。

[1]https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro

[2]https://arxiv.org/pdf/2512.24880