DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression

发表时间: 2026-09 · Tech report by DeepSeek-AI (deepseek.com)

原文: https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash

DeepSeek-AI ([email protected])

速读

一句话结论
本文推出了支持百万上下文的多模态 MoE 模型 DeepSeek-V4.1-Flash，通过因果编解码器架构和极致的 KV Cache 压缩技术，在保持甚至超越前代模型性能的同时，将全局 KV Cache 显存占用降至前代的四分之一，持久化存储占用降至八分之一，大幅降低了长周期智能体任务的部署成本。

要解决什么问题
随着长周期智能体（Agent）应用的普及，模型面临极其沉重的输入负载。尽管之前的稀疏注意力机制降低了长文本的计算量，但有两个机制层面的卡点依然严重限制了部署规模与成本：第一，在处理包含大量工具调用和多轮交互的 Prompt 时，Prefill（预填充）阶段的计算开销依然极其庞大；第二，超长上下文会产生海量的 KV Cache，其中全局 KV Cache 会迅速耗尽 HBM（显存）容量，而为了多轮复用而保存在 SSD 或主机内存中的持久化 KV Cache 则会打满存储容量和数据传输带宽。这种存储与 I/O 带宽的瓶颈，导致系统无法维持高并发吞吐，成为了进一步降低长文本智能体服务成本的最大阻碍。

怎么做的
为了绕开计算与存储的双重卡点，作者从架构、精度和部署策略三个维度进行了联合设计。首先，为了砍掉 Prefill 计算量，模型采用了因果编解码器（CED）架构。前一半层作为编码器正常计算，而后一半层（解码器）的全局 KV 不再由当前层的隐藏状态生成，而是直接由编码器最后一层（第 $L/2$ 层）的隐藏状态 $H_{L/2}$ 投影而来：

$$C_l = H_{L/2} W_l^{KV}, \quad Z_l = H_{L/2} W_l^{Z}, \quad l > \frac{L}{2}$$


这种设计让模型在 Prefill 阶段只需激活 8B 参数（Decode 阶段为 16B），几乎将计算量减半。其次，为了压缩显存中的全局 KV Cache，作者提出了第二代压缩稀疏注意力（CSA2）。它将网络层静态划分为三种模式：Full 模式正常生成全局 KV 和 Top-K 索引；Reindex 模式复用前一层的全局 KV，但重新计算索引；Reuse 模式则直接复用前一层的全局 KV 和 Top-K 索引。配合在解码器中引入的层次化稀疏索引器（由浅层构建候选池供深层搜索，将深层检索复杂度降为常数），以及将主 KV Cache 压缩为 FP4 精度，全局 KV Cache 的显存占用被极致压缩。最后，为了解决 SSD 上的持久化存储瓶颈，作者引入了滑动窗口注意力（SWA）的有界重放机制。原有方案需要将 SWA KV 存入 SSD 以备多轮对话复用，占用极大。新策略直接放弃持久化存储 SWA KV，当发生缓存未命中时，仅利用保留的全局 KV，重新计算最近的 $n_{\text{win}}$（窗口大小）个 Token 来近似恢复 SWA 状态。这用极小的重计算代价换取了持久化存储空间的释放。此外，模型还引入了 Single-Pass mHC 设计，通过将输入混合系数的计算向后偏移一层：

$$X_{l+1} = B_l X_l + C_l \mathcal{F}_l (A_{l-1} X_l)$$
这消除了同层内的数据依赖，将残差更新与系数预测融合为一个算子，成功将激活显存的读写流量减半。

效果如何
模型拥有 552B 主干参数，在分布式 GPU 集群与定制的 DSec 弹性计算沙盒上，使用 45T 多模态 Token 进行了从头预训练与强化学习。实验对比了代表上一代路线的前代基线（DeepSeek-V4-Pro、DeepSeek-V4-Flash）、代表顶尖开源路线的基线（Kimi-K3、GLM-5.3）以及代表前沿闭源路线的强基线（Opus-5、GPT-5.6 Sol）。量化结果显示，DeepSeek-V4.1-Flash 的全局 KV Cache 降至每 Token 仅 890 字节，持久化 KV Cache 降至前代八分之一。在大幅缩减开销的同时，其智能体能力实现了跃升：在软件工程基准 DeepSWE v1.1 上取得 74.2% 的解决率，在终端交互基准 Terminal-Bench 2.1 上取得 90.6% 的通过率，均超越了 Opus-5 和 GPT-5.6 Sol。在数学（MathArena Apex 取得 65.6%）和视觉图表分析等任务上也持平或超越了 Kimi-K3。代价与局限性方面，作者坦诚 SWA 有界重放本质上是一种近似状态重建，在极端的缓存恢复边界条件下可能会出现能力退化；同时，在需要专家级领域知识的科学类智能体任务（如 Terminal-Bench 4.0）以及整体多模态能力上限方面，该模型与最顶尖的超大参数量闭源系统相比，仍存在一定差距。

主要贡献

近年来，长周期智能体的广泛应用使得模型工作负载越来越偏向于输入密集型。尽管先前的工作大幅降低了长上下文计算的成本，但预填充（prefill）阶段的计算仍然昂贵，且庞大的键值（KV）缓存持续对高带宽内存（HBM）、固态硬盘（SSD）容量以及数据传输带宽造成压力。这些计算、存储和带宽需求共同构成了进一步降低部署成本的主要瓶颈。为了应对这一挑战，本文引入了DeepSeek-V4.1-Flash，这是一个拥有5520亿骨干参数、支持原生多模态输入并能处理高达100万个token上下文的混合专家（MoE）模型。

通过采用因果编码器-解码器（Causal Encoder-Decoder, CED）架构，该模型在解码阶段每个token激活160亿参数，而在预填充阶段仅激活80亿参数，从而大幅提高了智能体工作负载的成本效益。为了挑战KV缓存压缩的极限，DeepSeek-V4.1-Flash将压缩稀疏注意力2（Compressed Sparse Attention 2, CSA2）中的跨层KV缓存复用与FP4 KV缓存技术相结合。这些设计将其全局KV缓存占用（始终驻留在HBM中）降低至每个token 890字节，大约仅为DeepSeek-V4-Flash相应占用的1/4。此外，通过一种称为SWA有界重放（SWA Bounded Replay）的专用部署优化技术，DeepSeek-V4.1-Flash将其持久化KV缓存占用（始终驻留在SSD或主机内存中）减少到约DeepSeek-V4-Flash的1/8。

尽管其KV缓存占用小得多，该模型仍提供了显著优于基线的性能。此外，本文精简了DeepSeek-V4架构，并引入了几个高效的架构扩展。DeepSeek-V4.1-Flash在一个包含45万亿token的多模态语料库上进行了预训练，并进行了全面的后训练，在多样化的基于文本和多模态智能体场景中展现了强大的性能。

图1 | (a) DeepSeek-V4.1-Flash及其对应模型在智能体基准测试上的性能。(b) 各代DeepSeek模型每个token的全局KV缓存大小（以字节为单位），突显了DeepSeek在减少上下文内存需求方面的持续努力。相对于DeepSeek-V4-Flash和DeepSeek-V1，DeepSeek-V4.1-Flash分别实现了约4倍和437倍的每token全局KV缓存大小缩减。
图1 | (a) DeepSeek-V4.1-Flash及其对应模型在智能体基准测试上的性能。(b) 各代DeepSeek模型每个token的全局KV缓存大小（以字节为单位），突显了DeepSeek在减少上下文内存需求方面的持续努力。相对于DeepSeek-V4-Flash和DeepSeek-V1，DeepSeek-V4.1-Flash分别实现了约4倍和437倍的每token全局KV缓存大小缩减。
图2 | 各代DeepSeek模型在不同上下文长度下的单token解码FLOPs。我们通过将BF16、FP8和FP4操作的权重分别设为1、0.5和0.25来考虑计算精度。随着上下文长度的增加，DeepSeek-V4.1-Flash保持了几乎恒定的解码FLOPs，大幅降低了长上下文场景的计算成本。
图2 | 各代DeepSeek模型在不同上下文长度下的单token解码FLOPs。我们通过将BF16、FP8和FP4操作的权重分别设为1、0.5和0.25来考虑计算精度。随着上下文长度的增加，DeepSeek-V4.1-Flash保持了几乎恒定的解码FLOPs，大幅降低了长上下文场景的计算成本。

背景知识与设计原则

KV缓存管理的部署瓶颈：支持超长上下文处理不仅需要高效的长序列计算，还需要对庞大的KV缓存进行持久化存储、复用和传输。先前在稀疏注意力方面的进展（DeepSeek-AI, 2025, 2026b）已显著降低了计算成本，使得持久化存储和数据移动成为突出的瓶颈。具体而言，DeepSeek-V4（DeepSeek-AI, 2026b）结合了跨越完整上下文的全局注意力分支和局部滑动窗口注意力（SWA）。全局分支维护全局KV（包含主KV和索引器K），受HBM容量限制；而SWA维护局部KV状态。对于足够长的序列，全局KV主导了运行时HBM占用。此外，用于前缀复用的持久化KV缓存受限于SSD和主机内存容量，I/O和互连带宽也限制了缓存的迁移和加载。

通过架构简化实现极致压缩：DeepSeek-V4在概念上可以被视为一个基于SWA的局部处理主干，并辅以压缩的全局上下文。这一视角促使设计原则转向在很大程度上保留局部注意力设计的同时，简化全局分支。在架构层面，这催生了CSA2的设计，通过跨层复用全局KV和Top-K索引来大幅减少存储。在部署层面，DeepSeek-V4使用混合策略平衡SWA KV缓存的持久化存储成本与精确重建所需的计算量（重放最近的$L \times n_{\mathrm{win}}$个token）。而DeepSeek-V4.1-Flash引入的SWA有界重放确立了新的存储-计算权衡，允许避免将SWA KV持久化到SSD，仅需极少的预填充重计算。

方法细节

架构概述

多模态MoE Transformer的整体结构：DeepSeek-V4.1-Flash是一个接受图像和文本输入并自回归生成文本的多模态混合专家（MoE）Transformer。其语言主干包含40个因果Transformer层，分为20层因果编码器和20层解码器。除前两层仅使用滑动窗口注意力（SWA）外，每层均结合了全局注意力和SWA。模型包含一个视觉编码器和一个MLP投影器，用于将图像转换为视觉嵌入，并与文本嵌入联合处理。整体而言，该模型具有5520亿骨干参数和1960亿Engram参数，预填充时每token激活80亿参数，解码时激活160亿参数。架构详情见Fig 3。

图3 | DeepSeek-V4.1-Flash的整体架构。40层网络分为因果编码器和解码器，各20层。所有前馈层使用标准的DeepSeekMoE。前两个编码器层使用滑动窗口注意力（SWA）；其余使用压缩稀疏注意力2（CSA2），其中CSA2(ratio, mode)指定压缩率和模式。该模型还使用了Single-Pass mHC、Engram、DSpark和分层稀疏索引器。
图3 | DeepSeek-V4.1-Flash的整体架构。40层网络分为因果编码器和解码器，各20层。所有前馈层使用标准的DeepSeekMoE。前两个编码器层使用滑动窗口注意力（SWA）；其余使用压缩稀疏注意力2（CSA2），其中CSA2(ratio, mode)指定压缩率和模式。该模型还使用了Single-Pass mHC、Engram、DSpark和分层稀疏索引器。

多模态输入处理路径：对于每张输入图像，视觉编码器首先生成视觉特征的空间网格。接着，应用$3 \times 3$的pixel-unshuffle操作沿通道维度重新排列局部邻域，降低空间分辨率。随后，MLP投影器将特征映射到语言主干的隐藏维度。最后，生成的视觉嵌入被插入到输入嵌入序列中对应的图像token位置，由语言主干与文本嵌入一起联合处理。

DeepSeek-ViT的定制化设计：为了原生处理不同分辨率的图像，从头训练了一个名为DeepSeek-ViT的视觉编码器。它基于Vision Transformer（Dosovitskiy et al., 2021）修改而来：使用2D-RoPE替换标准绝对位置嵌入以适应任意分辨率；用线性投影替换patch嵌入层的卷积以兼容Muon优化器；采用RMSNorm（Zhang and Sennrich, 2019）和SwiGLU（Shazeer, 2020）。在输入LLM前，应用$3 \times 3$下采样的pixel-unshuffle操作，将视觉token数量减少9倍，有效支持高达约$1344 \times 1344$像素的分辨率。

多模态无辅助损失负载均衡：图像和文本token表现出不同的表示分布，可能导致MoE中不同的专家路由偏好。为了解决这个问题，扩展了无辅助损失负载均衡（Wang et al., 2024a），为文本和图像token维护独立的专家级校正偏差。路由时，每个token使用与其模态相关的校正偏差进行专家选择。每次训练步骤后，两组偏差根据各自的专家负载独立更新，从而平衡各模态内的专家利用率。

因果编码器-解码器（CED）

CED架构缓解预填充瓶颈：在智能体工作流中，频繁的工具调用会产生大量预填充请求，当KV缓存未命中时会带来严重的计算开销。受YoCo（Sun et al., 2024）启发，提出了CED架构。对于全局注意力，CED将Transformer底部的$L/2$层视为因果编码器。对于上半部分的解码器层（$l > L/2$），KV条目不是从它们各自的隐藏状态$H_l$派生，而是直接从第$(L/2)$层（即编码器最后一层）的隐藏状态$H_{L/2}$投影而来。具体公式为：$C_l = H_{L/2} W_l^{KV}, \quad Z_l = H_{L/2} W_l^Z, \quad l > \frac{L}{2}$，其中$C$和$Z$分别表示KV条目及其压缩权重。这使得预填充阶段只需计算前一半的层即可获取上层的全局KV缓存。

SWA层级计算与解码器SWA有界重放：对于SWA，CED在所有层中保持常规的逐层计算，即局部键和值直接来自当前层的隐藏状态$H_l$。然而，在预填充阶段计算解码器的SWA KV缓存需要处理额外的$n_{\mathrm{win}} \times L/2$个token（$n_{\mathrm{win}}$为窗口大小）。基于SWA实际有效感受野远小于理论值的观察（Chen et al., 2025），引入了解码器SWA有界重放（Decoder SWA Bounded Replay），仅预填充提示的最后$n_{\mathrm{win}}$个token用于SWA计算。整体上，对于序列长度$N \gg n_{\mathrm{win}}$，CED将预填充复杂度从$O(NL)$降低至约$O(NL/2)$。

压缩稀疏注意力2（CSA2）

多维度注意力压缩策略：服务长上下文需要控制KV缓存存储和注意力计算。先前的压缩方法如GQA（Ainslie et al., 2023）、MLA（DeepSeek-AI, 2024）、CSA和HCA（DeepSeek-AI, 2026b）、IndexCache（Bai et al., 2026）、YOIO（Sun et al., 2026b）和HySparse（Gao et al., 2026）未能同时覆盖条目大小、序列维度和层维度这三个乘法维度。CSA2联合利用这三个维度：跨层共享主KV和索引器K，允许层复用Top-K索引，并将这些复用策略与简化的压缩器和分层稀疏索引器相结合。

CSA2的简化设计：与CSA类似，CSA2包含一个轻量级索引器，使用索引器Q和K对主KV条目打分，并为每个查询选择Top-K条目。CSA2通过移除重叠的源条目和绝对位置编码简化了压缩器。此外，CSA2通过直接投影主KV条目来获取索引器K，取代了CSA中从隐藏状态分离的压缩路径。

跨层KV与索引复用的三种模式：每个CSA2层被静态分配为三种模式之一（见Fig 4）。全模式（Full Mode）：该层计算自身的主KV和索引器Q，从主KV投影索引器K，并运行索引器产生新的Top-K索引。重索引模式（Reindex Mode）：复用前一层最新可用的主KV及对应的索引器K。索引器计算自身的查询，对复用的键重新打分，产生新的Top-K索引。复用模式（Reuse Mode）：复用前一层最新可用的主KV，以及前一层计算出的最新Top-K索引。直接执行注意力机制，不计算索引器Q或评估索引分数。所有模式均在当前层计算主Q和SWA KV。

图4 | CSA2的三种运行模式。这些模式在获取主KV、索引器K和Top-K索引的方式上有所不同。绿色块表示在当前层计算的量；黄色块表示从最近的Full Mode层复用的主KV和索引器K；而红色块表示从最近的产生索引的层复用的Top-K索引。所有三种模式都在当前层计算主Q和SWA KV。
图4 | CSA2的三种运行模式。这些模式在获取主KV、索引器K和Top-K索引的方式上有所不同。绿色块表示在当前层计算的量；黄色块表示从最近的Full Mode层复用的主KV和索引器K；而红色块表示从最近的产生索引的层复用的Top-K索引。所有三种模式都在当前层计算主Q和SWA KV。

分层稀疏索引器（Hierarchical Sparse Indexer）：为了降低极长上下文下重复打分的成本，在CED的解码器中引入分层稀疏索引器（见Fig 5）。第一个处于Full Mode的层对所有因果可见的主KV位置打分，产生自身的Top-K索引，并执行块级候选选择：每个块被分配其位置中的最大索引分数，选择得分最高的块。被选块覆盖的位置构成一个候选池。后续处于Reindex Mode的层仅对该候选池内的位置打分，并在池内选择自身的Top-K条目。这使得后续索引器的每查询打分位置数量独立于上下文长度。

图5 | 分层稀疏索引器。每个正方形代表一个位置；绿色正方形标记选定的索引，蓝色矩形标记基于最大索引器得分选定的块。解码器中处于Full模式的第一个CSA2层选择其自身的Top-512索引，并从选定的块中为后续层构建一个共享候选池。随后处于Reindex模式的CSA2层从该池中选择它们的Top-512索引。
图5 | 分层稀疏索引器。每个正方形代表一个位置；绿色正方形标记选定的索引，蓝色矩形标记基于最大索引器得分选定的块。解码器中处于Full模式的第一个CSA2层选择其自身的Top-512索引，并从选定的块中为后续层构建一个共享候选池。随后处于Reindex模式的CSA2层从该池中选择它们的Top-512索引。

高效架构扩展

单遍mHC（Single-Pass mHC）：DeepSeek-V4中的mHC（Xie et al., 2026）需要两次读取残差流$X_l$以完成计算。为了减少激活内存流量，引入了Single-Pass mHC，将输入混合系数偏移一个块：$X_{l+1} = B_l X_l + C_l \mathcal{F}_l (A_{l-1} X_l)$。由于输入混合现在使用$A_{l-1}$，它不再依赖于从$X_l$计算出的系数。在部署时，残差更新、输入混合和系数预测被融合为一个内核Mega-mHC，实现一次读取和一次写入，将激活内存流量减半。

Engram条件记忆模块：集成了Engram（Cheng et al., 2026b）以解耦记忆与计算。保留了分词器压缩、多头哈希、上下文感知门控和多分支集成，但省略了短因果卷积。分配1960亿Engram参数，均匀分布在层1和层14，使用N-gram阶数$\{2, 3, 4\}$和8个哈希头。通过动量更新和Sinkhorn平衡来优化嵌入表。

DSpark投机解码：配备了DSpark（Cheng et al., 2026a）架构。草稿器包含三个Transformer块，SWA窗口为128。单次前向传递并行计算5个草稿位置的基准逻辑，轻量级马尔可夫头建模草稿token间的依赖，置信度头预测接受概率以动态选择验证长度。DSpark在主干预训练后单独训练。

FP4主KV缓存：在后训练期间引入量化感知训练（QAT）（Jacob et al., 2018），将主KV缓存压缩为FP4。采用OCP标准的MXFP4格式（Rouhani et al., 2023），具体为E2M1，每16个通道一个E4M3缩放（省略全局缩放，类似NVFP4（Alvarez et al., 2025））。在RoPE之后对缓存进行量化。SWA KV缓存保持FP8精度。

优化策略

优化器配置与Head-wise Muon：对非矩阵参数使用AdamW（Loshchilov and Hutter, 2019）。对线性变换的权重矩阵使用Muon（Jordan et al., 2024; Liu et al., 2025）。对于Query和Key权重，使用Head-wise Muon，即在应用Muon更新前按头拆分权重，这能更好地处理注意力头之间的异构性（Zhang et al., 2024; Zhang, 2026; Zeng et al., 2026; Team et al., 2026a）。

Sinkhorn平衡更新：对Engram嵌入表、token嵌入和预测头应用基于动量的更新，后接Sinkhorn平衡（Scetbon et al., 2025）。该方法寻找对角缩放矩阵使得更新矩阵的行和列RMS近似均衡，仅需动量缓冲区，大幅降低了优化器状态的内存占用。

训练基础设施

多模态训练中的通信-计算重叠：在视觉编码器的对比学习阶段，通过特定的调度，视觉特征的All-Gather操作在文本前向传播期间进行，文本特征的All-Gather在文本反向传播期间进行，从而将通信完全隐藏在计算背后。

端到端并行性与长序列优化：采用解耦编码器设计（Team et al., 2025, 2026b），防止视觉和LLM计算之间的干扰。对于长序列，采用均衡图像分片，将序列的图像跨CP rank进行负载均衡分片，每个图像仅加载一次，确保存储吞吐量不成为瓶颈。在RL期间，采用增量图像传输并缓存解码输出。

CSA2的注意力共享训练：为了在分布式流水线中支持CSA2的跨层共享，引入了影子索引器（Shadow indexers），在每个参与阶段放置轻量级副本，保持逻辑所有者负责优化。使用流水线负载扩展跨越边界传递中间表示和稀疏路由信息。采用微批次级共享状态管理协调并发激活的微批次状态生命周期。

Engram的系统实现：Engram嵌入表按行划分，优化器状态在副本间分片。嵌入预取在当前训练步开始前为整个局部批次启动，并与视觉编码器计算重叠。使用FP8存储和获取嵌入，Sinkhorn归一化融合了行归一化和列统计累加内核。

推理系统

推理内核融合：通过合理的内核融合，将绝大多数Transformer层（CSA2处于Reuse Mode）的执行简化为预填充时仅15个内核，解码时11个内核。这包括FlashMLA（Li and Liu, 2025）、DeepGEMM（Zhao et al., 2025）中的Mega-Gate、Mega-mHC等内核，以及TileKernels（Wang et al., 2026a）和DeepSelect（Qian et al., 2026）内核。

持久KV缓存管理革新：V4.1将持久KV缓存占用降至V4的1/8。核心改变是SWA KV不再缓存在持久KV缓存（SSD）中，而是存储在主机DRAM的分布式内存池中（具有分钟级的短TTL）。全局KV仍保留在SSD中（保证寿命至少72小时）。SWA KV不可避免的未命中通过SWA有界重放以极低的成本恢复。

SWA有界重放（SWA Bounded Replay）：精确重建SWA KV需要重放$L \times n_{\mathrm{win}}$个token。SWA有界重放仅重放最近的$n_{\mathrm{win}}$个token并截断SWA。

实验环境

实验结果

预训练基础模型评估：

后训练模型评估：

推理努力度控制（Reasoning Effort Control）评估：

跨智能体支架（Scaffolds）鲁棒性评估：

多智能体（Multi-Agent）协作评估：

结论

本文介绍了DeepSeek-V4.1-Flash，通过联合优化模型架构、缓存精度和部署策略，突破了KV缓存压缩的极限。其CED架构使得预填充阶段仅激活80亿参数，提升了成本效益。CSA2的跨层复用与FP4缓存将全局KV缓存占用降至每token 890字节；SWA有界重放将持久化KV缓存占用降至V4的1/8。该模型在大幅降低HBM和SSD压力的同时，提供了匹敌甚至超越前沿闭源模型的性能。未来的工作将继续扩大压力测试边界，更新评估协议，并探索数据、模型容量和RL的协同扩展。

附录

B. 评估细节

支架配置：所有支架在Linux任务容器中运行。不添加实验性系统提示词。具体配置包括Claude Code（使用原生工具接口，Table 5展示了不同版本的性能一致性）、Codex（应用服务器模式）、OpenCode（构建智能体）、Pi（RPC模式加搜索扩展）、mini-SWE（单bash工具）和DeepSeek Harness（Minimal, Standard, PTC模式）。
不同支架下的推理努力度：在所有支架中，提高推理努力度设定会单调增加轨迹长度。准确率整体提升，但非严格单调。不同支架的校准不同，在任务接近饱和时，支架的选择与努力度层级同样重要。

C. 推理努力度控制中的指数Token惩罚

定义努力度$b$下生成$\ell$个推理token的长度扣减为$r^{\mathrm{len}}(\ell, b) = -\min \left\{ C_{\mathrm{max}}, k(b) \frac{\ell}{L_{\mathrm{norm}}} \right\}$。惩罚系数为指数形式：$k(b) = k_0 \exp \left( - \frac{b - b_{\mathrm{min}}}{\tau} \right)$。
假设解决问题的边际概率随推理长度呈指数衰减：$p_x^\prime(\ell) \approx a_x \exp \left( - \frac{\ell}{s_x} \right)$。在一阶条件下，最优推理长度$\ell_x^\ast(b)$满足$p_x^\prime(\ell_x^\ast(b)) = \frac{k(b)}{L_{\mathrm{norm}}}$。代入后得到：
$\ell_x^\ast(b) \approx C_x - s_x \log k_0 + \frac{s_x}{\tau} (b - b_{\mathrm{min}})$。
这表明，指数惩罚调度在这个局部模型下，在请求的努力度和偏好的推理长度之间产生了一个简单的一阶仿射趋势。$k_0$控制整体缩短推理的压力，而$\tau$控制对努力度的敏感性。

补充细节

5.1 后训练流水线

后训练遵循SFT、RL和OPD的标准范式。重点在于大规模自动化数据合成和环境构建流水线。
大规模智能体任务合成：将任务形式化为（问题，环境，验证系统）三元组，根据难度和正确性进行评估。

5.1.3 大规模运行智能体：DSec

为了应对百万级并发沙盒实例的需求，构建了DSec平台。

5.1.4 RL中可控的推理努力度

将标量努力度级别$b \in \{1, \dots, 100\}$作为系统提示词中的显式条件信号。对于每个训练提示$\boldsymbol{x}$，在各努力度$b$下采样$M_b$个响应$\boldsymbol{z}_{b,j}$。在同一$(x, b)$子组内对奖励进行均值中心化。通过在奖励中添加依赖于$b$的长度惩罚项$r_{b,j}^{\mathrm{len}}$来诱导特定努力度的行为（详见附录C）。在公共API中，暴露了max（100）、high（75）和low（50）三个预设层级（Table 2）。

5.2 异步后训练基础设施

为了解决RL rollout阶段的长尾问题，扩展了基础设施以支持异步生成。

参考文献总结：
方法细节中引用的主要文献包括：YoCo（Sun et al., 2024）启发了CED架构以减少预填充计算；SWA有效感受野观察参考了（Chen et al., 2025）；多维度注意力压缩的相关工作包括GQA（Ainslie et al., 2023）、MLA（DeepSeek-AI, 2024）、CSA/HCA（DeepSeek-AI, 2026b）、IndexCache（Bai et al., 2026）、YOIO（Sun et al., 2026b）和HySparse（Gao et al., 2026）；无辅助损失负载均衡参考了（Wang et al., 2024a）；mHC结构参考了（Xie et al., 2026）；Engram模块参考了（Cheng et al., 2026b）；DSpark投机解码参考了（Cheng et al., 2026a）；量化感知训练及格式参考了（Jacob et al., 2018; Rouhani et al., 2023; Alvarez et al., 2025）；优化器设计中AdamW参考（Loshchilov and Hutter, 2019），Muon参考（Jordan et al., 2024; Liu et al., 2025），Head-wise Muon及注意力头异构性参考（Zhang et al., 2024; Zhang, 2026; Zeng et al., 2026; Team et al., 2026a），Sinkhorn平衡更新参考（Scetbon et al., 2025）；推理内核实现参考了FlashMLA（Li and Liu, 2025）、DeepGEMM（Zhao et al., 2025）、TileKernels（Wang et al., 2026a）和DeepSelect（Qian et al., 2026）；解耦训练架构参考了（Team et al., 2025, 2026b）。