HySparse2: Hybrid Sparse Attention with Two-Level KV Sharing
HySparse2: Hybrid Sparse Attention with Two-Level KV Sharing
发表时间: 2026-09 · arXiv:2609.26368 (Xiaomi)
原文: https://arxiv.org/abs/2609.26368
作者/机构:Jianyu Wei, Yizhao Gao, Qihao Zhang, Shimao Chen, Zhengju Tang, Yu Cheng, Shengjie Zhou, Zihan Jiang, Yifan Song, Hailin Zhang, Liang Zhao, Bo Yang, Gang Wang, Shijie Cao, Fuli Luo / LLM-Core Xiaomi
速读
一句话结论 HySparse2 提出了一种具有两级 KV 共享机制的混合稀疏注意力架构,在大幅降低长上下文预填充计算量和 KV 缓存占用的同时,提升了智能体任务中的长上下文检索精度。
要解决什么问题 在多轮交互的智能体推理中,模型通常只生成简短的动作指令,却需要处理来自工具和环境的超长返回结果。随着多轮观察结果的不断积累,推理过程变得极度依赖输入,上下文长度急剧膨胀,导致注意力计算开销和 KV 缓存占用迅速增加。现有的高效架构(如 HySparse)通过交替使用全注意力和稀疏注意力来减少缓存和计算量,但仍卡在两个关键瓶颈上:第一,预填充阶段依然需要完整执行所有网络层,无法跳过计算,导致长文本输入的预填充成本极高;第二,为了工程实现方便而采用的块级别稀疏选择粒度过于粗糙。在智能体轨迹中,关键信息往往与特殊分隔符交织分布,块级别稀疏为了保留一个关键词元,会把预算浪费在其相邻的无关词元上,导致在面对跨越多轮对话的细粒度信息时无法精准命中关键证据,长上下文检索精度严重下降。
怎么做的 HySparse2 的核心思路是引入两级 KV 共享机制,并结合 YOCO 风格的自解码器与交叉解码器架构,从而实现更精准的稀疏检索以及预填充阶段的提前退出。在外部层级,方法设计了 KV Bridging 机制来桥接两个解码器中的全注意力层。交叉解码器中的全注意力层不再从头计算 KV 缓存,而是直接接收自解码器对应全注意力层的输入隐藏状态 ${\bf H}_i^{\mathrm{self}}$,并使用自己独立的投影矩阵生成键和值,其查询则依然由自身的隐藏状态 ${\bf H}_j^{\mathrm{cross}}$ 投影得到:
在内部层级,方法保留了 HySparse 的 KV Reuse 设计,即在一个混合块内,稀疏注意力层直接复用全注意力层的 KV 缓存和筛选索引。为了绕开原有的精度和效率卡点,HySparse2 做了两个关键改造。首先,将块级别稀疏替换为词元级别稀疏,把有限的注意力预算精确分配给上下文中真正相关的独立词元,大幅提升了检索精度。其次,移除了稀疏层中独立的滑动窗口注意力分支,改为在稀疏选择时强制保留最近的一段词元窗口。原有的独立滑动窗口分支会产生级联依赖,要求交叉解码器必须处理很长的词元后缀;而强制窗口设计让局部词元和全局词元共享同一个 KV 缓存,彻底切断了这种依赖。通过这两级共享与改造,交叉解码器的所有 KV 缓存都能由自解码器的隐藏状态构建,预填充阶段在执行完自解码器后即可直接退出,完全跳过交叉解码器的计算,使得预填充节点只需加载一半的模型权重。
效果如何 实验基于 80B 参数的 MoE 模型(激活 3B 参数)搭建,包含 49 个 Transformer 层,使用约 500B tokens 进行 32K 上下文预训练,并用 100B tokens 进行 256K 上下文的轻量后训练。对比基线有两个:代表块级别稀疏与门控局部窗口路线的 HySparse,以及代表混合滑动窗口注意力路线的 Hybrid SWA。在轻量后训练后的智能体长上下文评估中,HySparse2 在所有测试长度下均优于基线。在检索任务上,其 MRCR-v2 和 RULER-v2 的平均得分比 HySparse 分别提升了 11.30 和 19.81 个百分点;在 256K 极长上下文下,RULER-v2 得分达到 58.45,远超 HySparse 的 32.61。在效率方面,当上下文达到 1M tokens 时,HySparse2 的预填充 FLOPs 相比 HySparse 和 Hybrid SWA 分别降低了 2.92 倍和 5.02 倍,且 KV 缓存仅占用 2.69 GB(基线分别为 6.72 GB 和 12.09 GB)。作者也承认了该方法的局限性:为了实现预填充提前退出而采用的强制局部窗口设计,相比于保留独立门控滑动窗口分支的做法,在 GSM8K 和 MRCR-v2 任务上会带来约 5 个百分点的性能折损,但换取了巨大的预填充效率收益。
主要贡献
针对长周期(Long-horizon)和多轮智能体(multi-turn agents)在推理过程中通常生成简短动作但需要处理来自工具和环境的超长观察结果的问题,本文提出了HySparse2架构。随着上下文的不断增长,这种工作负载对高效的预填充(prefill)、紧凑的KV缓存(KV-cache)存储以及准确的长上下文检索提出了极高的要求。
为了满足这些需求,本文的主要研究目标是改进先前的HySparse架构,提出了一种具有两级KV共享(Two-Level KV Sharing)的混合稀疏注意力机制:
- 外层共享(Outer Level):引入了KV桥接(KV Bridging)机制,采用了类似YOCO的自解码器(self-decoder)和交叉解码器(cross-decoder)结构,但仅在全注意力(full-attention)层之间进行桥接。自解码器使用混合滑动窗口注意力(SWA),而交叉解码器使用混合稀疏注意力。交叉解码器中全注意力层的KV缓存,完全由自解码器中全注意力层的隐藏状态生成。
- 内层共享(Inner Level):保留了HySparse核心的KV复用(KV Reuse)设计,并进行了两项关键改进。首先,将块级(block-level)稀疏性替换为词元级(token-level)稀疏性,以实现更精细的长上下文检索;其次,移除了稀疏层中独立的SWA分支,转而强制将最近的词元滑动窗口纳入稀疏选择中。
这种两级KV共享机制使得所有交叉解码器的KV缓存都可以从自解码器的隐藏状态中构建。因此,预填充阶段可以在执行完自解码器后直接退出(Early Exit),完全跳过所有交叉解码器层。在80B-A3B的混合专家(MoE)模型上的实验表明,HySparse2在长上下文检索和多轮智能体任务上超越了HySparse和Hybrid SWA,同时大幅降低了预填充的计算量和KV缓存的存储需求。
背景知识与研究动机
高效预填充(Efficient Prefill)
长周期和多轮智能体使得推理过程越来越受输入主导(input-dominated)。工具调用返回的响应所增加的词元数量,往往远远超过产生这些动作的生成词元数量。仅仅降低注意力计算的成本,并不能消除将这些词元在主干网络中前向传播所需的计算量。跨层的KV缓存共享可以同时减少KV存储和预填充计算量。例如,YOCO架构通过使用自解码器构建一个全局KV缓存并供交叉解码器层共享,使得预填充阶段的缓存构建可以在自解码器之后退出(参考引文:Sun et al., 2024)。Gemma 3n也采用了相关的跨层KV共享来提高预填充效率(参考引文:Sanseviero and Ballantyne, 2025)。先前的HySparse在其混合稀疏注意力块中应用了跨层共享:每个全注意力层将其全局KV缓存和Top-$k$块索引共享给后续的稀疏注意力层,但其预填充阶段仍然需要执行所有的网络层(参考引文:Gao et al., 2026)。基于此,HySparse2进一步将类YOCO的结构整合进HySparse中,将减少的注意力计算、降低的KV存储与更短的预填充路径结合在了一起。
KV缓存压缩(KV Cache Compression)
智能体工作负载需要更紧凑的KV缓存。现有的KV缓存压缩技术主要涵盖四个维度:注意力头(head)、序列(sequence)、网络层(layer)和数值精度(precision)。
- 注意力头级别:通过GQA/MQA共享KV头(参考引文:Ainslie et al., 2023; Shazeer, 2019),或者像MLA那样将KV表征压缩为潜在状态(参考引文:Liu et al., 2024a)。
- 序列级别:将多个词元压缩成更少的缓存条目(参考引文:DeepSeek-AI et al., 2026)。
- 网络层级别:在不同层之间共享KV缓存(参考引文:Brandon et al., 2024; Sun et al., 2024)。
- 精度级别:降低缓存键和值的数值精度(参考引文:Hooper et al., 2024; Liu et al., 2024b)。
先前的工作主要集中在注意力头、序列和精度轴上的层内压缩。而HySparse2则另辟蹊径,通过KV桥接(KV Bridging)和KV复用(KV Reuse)将跨层共享推向了极致。
稀疏注意力粒度(Sparse Attention Granularity)
稀疏注意力通过将每个查询(query)限制在KV条目的一个子集上,从而降低了长上下文的注意力成本(参考引文:Child et al., 2019)。然而,其选择的粒度在建模准确性和推理效率之间造成了固有的权衡。HySparse曾将块级稀疏性(block-level sparsity)作为一种实用的折中方案,因为评估显示其没有明显的准确性劣势,且规则的块结构能够实现高效的底层算子(kernels)。但是,现代智能体工作负载涉及长周期的多轮轨迹,这要求从极长的历史上下文中进行精确检索。在这些模式下,块级选择暴露出明显的准确性劣势,而词元级(token-level)选择能够更忠实地检索出相关证据。近期稀疏算子的进展也使得词元级的实现变得切实可行(参考引文:Wang et al., 2025)。因此,HySparse2采用了词元级稀疏性,以实现更精确的上下文选择。
方法细节
架构概览
HySparse2的整体架构借鉴了YOCO的设计,将主干网络划分为一个自解码器(self-decoder)和一个交叉解码器(cross-decoder)。这两个解码器均采用混合注意力机制。其中,自解码器将全注意力与滑动窗口注意力(SWA)混合,用于局部建模;交叉解码器则将全注意力与稀疏注意力混合,用于全局检索。HySparse2的核心在于两级KV共享:
- 外层(KV Bridging):通过特定层的投影矩阵,从对应的自解码器隐藏状态中,为每个交叉解码器的全注意力层构建KV缓存。
- 内层(KV Reuse):在每个混合块内,允许稀疏层复用全注意力层的KV缓存和选择索引。
仅限全注意力的KV桥接(Full-Attention-Only KV Bridging)
KV桥接操作严格限制在自解码器和交叉解码器的全注意力层之间进行。假设存在一对全注意力层$(i, j)$,其中第$i$层位于自解码器,第$j$层位于交叉解码器。令$\mathbf{H}_i^{\mathrm{self}}$和$\mathbf{H}_j^{\mathrm{cross}}$分别表示它们对应的输入隐藏状态。交叉解码器第$j$层计算其键(keys)、值(values)和查询(queries)的公式如下:
因为每个交叉解码器的全注意力层都拥有自己独立的$\mathrm{K}/\mathrm{V}$投影矩阵,所以即使多个层共享同一个隐藏状态源,它们依然会构建出截然不同的KV缓存。同时,每个层也保留了一个独立的Q投影矩阵,该矩阵作用于其自身当前的隐藏状态。KV桥接机制支持在两个解码器中设置不同的混合注意力比例,这允许一个自解码器的全注意力层为多个交叉解码器的全注意力层提供输入(如前文图2所示)。
跨层KV复用(Cross-Layer KV Reuse)
在内层设计上,HySparse2对HySparse进行了两项关键的改进:采用词元级稀疏选择和移除独立的SWA分支。
- 词元级稀疏选择(Token-Level Sparse Selection):在HySparse的预训练评估中,块级选择并未表现出明显的准确度下降。但是,在多轮、长上下文的智能体任务中,块级稀疏性表现出了显著的准确度劣势。为了解决这个问题,HySparse2在全注意力层中对单个词元应用Top-$k$选择,随后的稀疏层则直接复用被选中词元的KV条目。
- 移除独立的SWA分支(Removing the Separate SWA Branch):HySparse2移除了HySparse中使用的独立SWA分支,转而通过在稀疏选择中强制加入一个最近的词元窗口来支持局部建模。具体操作为:始终选择最近词元组成的局部窗口,随后再选择窗口外得分最高的词元。这两个被选中的集合都从全注意力KV缓存中读取,并被后续的稀疏注意力层复用。
这一设计是实现预填充阶段在自解码器后完全提前退出(Early Exit)的关键。如果交叉解码器中存在独立的SWA分支,那么它就需要从自身隐藏状态的投影中构建一个KV缓存的后缀(suffix)。由于网络深度的增加,这种构建会进一步依赖于前面层中不断扩大的隐藏状态集合,导致计算量随深度线性增长。这种级联的SWA依赖性迫使交叉解码器必须处理一个远长于窗口大小的词元后缀。要获得这些所需的状态,要么必须在预填充期间进行计算(这阻碍了完全跳过交叉解码器),要么必须采用诸如有界重放(bounded replay)等近似方法。HySparse2通过架构上的构建彻底消除了这种依赖,使得在预填充期间交叉解码器不需要进行任何计算。此外,在门控基线模型中,移除该分支还消除了独立投影带来的大量参数开销。
全注意力的作用(The Role of Full Attention)
HySparse2和HySparse都保留了少量的全注意力层,因为作者认为全注意力对于保证模型质量仍然至关重要。这些全注意力层同时充当了索引器(indexers)的角色,利用精确的注意力分数去为后续的稀疏层提供“预言机(oracle)”级别的词元选择。这种设计原生支持端到端训练,无需引入独立的索引器,也无需使用辅助的蒸馏目标来训练索引器。尽管如此,全注意力的计算代价依然高昂,因此全注意力层的比例被保持在较低水平。在HySparse2中,预填充KV缓存的构建仅需要一个全注意力层。借鉴近期稀疏化方法的思路,未来在后训练阶段,可以进一步用轻量级索引器加上稀疏注意力来近似保留的全注意力层;未来的架构也可以通过减少全注意力层中的查询头数量并增加稀疏注意力层中的查询头数量,来将计算量更多地分配给稀疏注意力。
推理架构(Inference Architecture)
- 预填充-解码分离(Prefill–Decode Disaggregation):在预填充-解码分离的部署模式下,HySparse2的预填充节点仅托管自解码器和KV桥接投影矩阵。对于图2中所示的49层模型,这要求预填充节点仅部署前25层,从而将预填充节点的内存需求削减了近一半。由于具有较高的SWA与全注意力比例,自解码器在预填充阶段仅在单层中执行全注意力。此外,交叉解码器的全注意力KV缓存也在预填充节点上计算,随后传输到解码节点,这是因为投影后的KV缓存体积小于源隐藏状态的体积。
- 投机解码(Speculative Decoding):在预训练期间,HySparse2使用了一个单一的MTP层,该层以自解码器/交叉解码器边界处的隐藏状态为条件,以辅助模型收敛。在后训练期间,这个MTP层可以被替换为一个更大的、类似DFlash风格的草稿模型(drafter),该模型同样以上述隐藏状态为条件(参考引文:Chen et al., 2026)。由于这些隐藏状态能够早期获取,这为异步草稿生成和验证提供了支持。训练更大的草稿模型以及协调异步执行与验证反馈是未来的工作方向。
实验环境
- 模型架构与参数:实验主要采用80B-A3B MoE模型。每个模型包含49个Transformer层,隐藏层维度为2048,并使用了一种简化的mHC变体(残差混合矩阵固定为单位矩阵)。三种对比模型的注意力设计配置如表1所示。Hybrid SWA保留9个全注意力层并使用GQA;HySparse保留5个全注意力层并使用GQA;HySparse2保留5个全注意力层,但使用MQA(Q/KV头数为64/1,头维度为256/256),这产生了更小的KV缓存并提高了词元稀疏注意力算子的效率。
- 位置编码:在HySparse2中,自解码器的SWA层使用部分旋转位置嵌入(RoPE),具有64个旋转维度,base值为10,000;而全注意力和稀疏注意力使用NoPE。因此,HySparse2在长上下文扩展期间不需要进行RoPE调整。所有稀疏和SWA层都使用Sigmoid输出门控和可学习的每头sink偏置。
- 稀疏配置:HySparse2使用词元级选择,强制保留128个局部词元,并选择1024个全局词元。HySparse以64词元为块选择1024个全局词元,并通过门控融合将稀疏注意力与独立的128词元SWA分支结合。Hybrid SWA使用128个词元的滑动窗口。
- 训练配置:在32k上下文长度下,对80B-A3B模型进行了约500B词元的预训练。随后进行轻量级后训练(约100B词元),在训练混合物中引入智能体数据,并将上下文长度扩展至256k。三个模型在每个阶段共享相同的数据混合和训练调度。优化器采用Muon,配合WSD调度,预训练峰值学习率为$10^{-3}$,后训练为$5 \times 10^{-5}$。
| 模型 | #全注意力层数 | 注意力头数 (Q/KV) | 头维度 (QK/V) |
|---|---|---|---|
| Hybrid SWA | 9 | 64/4 | 192/128 |
| HySparse | 5 | 64/4 | 192/128 |
| HySparse2 | 5 | 64/1 | 256/256 |
表1:三种注意力设计的配置对比。
实验结果
1. 预训练整体性能对比
如表2所示,在预训练阶段,HySparse2在通用能力(知识、推理、代码)上与两个基线模型(Hybrid SWA和HySparse)保持了广泛的可比性,而其最明显的提升在于长上下文建模。HySparse2在RULER和NoLiMa上取得了最高分,分别比HySparse提高了5.88和9.49分。它还实现了最低的Repo Code PPL(1.1570)。在具体的通用任务上表现互有胜负,HySparse2在BBH和MMLU-Pro上更强,而HySparse在DROP上保持优势。
| 任务 | Hybrid SWA | HySparse | HySparse2 |
|---|---|---|---|
| 知识类 | |||
| MMLU | 61.48 | 64.48 | 63.92 |
| MMLU-Redux | 63.96 | 68.44 | 67.50 |
| C-Eval | 65.08 | 67.09 | 67.90 |
| CMMLU | 67.41 | 69.97 | 69.90 |
| TriviaQA | 60.59 | 60.67 | 59.67 |
| 推理类 | |||
| BBH | 60.14 | 61.93 | 64.29 |
| MMLU-Pro | 36.12 | 35.74 | 37.56 |
| MATH | 36.18 | 36.14 | 34.32 |
| DROP | 60.90 | 63.78 | 58.99 |
| GSM8K | 64.44 | 64.14 | 61.94 |
| ARC-C | 75.51 | 79.18 | 77.82 |
| HellaSwag | 79.38 | 79.19 | 79.54 |
| WinoGrande | 73.72 | 74.19 | 71.82 |
| 代码类 | |||
| HumanEval+ | 35.98 | 34.76 | 34.15 |
| MBPP+ | 55.56 | 52.65 | 52.65 |
| Repo Code PPL ↓ | 1.1578 | 1.1588 | 1.1570 |
| 长上下文 | |||
| RULER | 88.71 | 84.89 | 90.77 |
| NoLiMa | 30.13 | 40.27 | 49.76 |
表2:80B-A3B模型的预训练性能。
2. 智能体与长上下文性能(后训练)
在经过约100B词元的轻量级后训练后,评估了多轮检索(MRCR-v2, RULER-v2)和智能体轨迹上的长上下文似然(AgentPPL, LongPPL)。如图3所示,HySparse2在所有评估长度上的四个指标均领先于两个基线。最大的收益体现在检索上:相对于HySparse,其MRCR-v2和RULER-v2的平均得分分别提高了11.30和19.81分;相对于Hybrid SWA,分别提高了6.44和18.65分。在256k长度下优势依然巨大(HySparse2在RULER-v2上达到58.45,而HySparse为32.61,Hybrid SWA为35.74)。同时,HySparse2在整个评估范围内实现了更低的AgentPPL和LongPPL。
3. 预填充计算与KV缓存存储开销
在1k到1M词元的上下文长度下(FP8 KV缓存),对比了预填充FLOPs和KV缓存大小。如图4所示,在1M词元时,HySparse2的预填充FLOPs相对于HySparse减少了$2.92\times$,相对于Hybrid SWA减少了$5.02\times$。HySparse2的KV缓存仅占用2.69 GB,而HySparse为6.72 GB,Hybrid SWA为12.09 GB。
4. 消融实验1:词元级 vs 块级稀疏性
在相同的注意力预算下(选择1024个全局词元,保留128个局部窗口),对比了块级(块大小64)和词元级选择。表3显示,词元级选择在长上下文检索和图推理上取得了明显的收益:RULER-v2提升了6.57分,双针MRCR-v2提升了8.14分,GraphWalks提升了5.55分。这是因为智能体轨迹交织了推理、工具调用和观察,关键信息分散,词元级选择能更精确地将预算分配给跨上下文的独立位置,而不是浪费在相邻的无用词元上。
| 任务 | 块级 (Block) | 词元级 (Token) |
|---|---|---|
| 预训练 | ||
| BBH | 61.93 | 60.70 |
| MMLU-Pro | 35.74 | 36.97 |
| NoLiMa | 40.27 | 38.43 |
| 长上下文 (≤32k) | ||
| RULER-v2 | 49.56 | 56.13 |
| MRCR-v2 (2-needle) | 12.94 | 21.08 |
| GraphWalks | 29.38 | 34.92 |
表3:预训练后词元级与块级稀疏选择的对比。
5. 消融实验2:稀疏层中的局部窗口
对比了三种处理稀疏层内部局部上下文的方法:独立的门控128词元SWA分支(Gated SWA)、移除独立SWA分支(No SWA)、以及强制将最近128个词元纳入稀疏选择(Forced SWA)。表4显示,局部信息对于稀疏注意力是必要的(No SWA性能下降)。Forced SWA在多项任务上与Gated SWA保持竞争力,并在RULER、RULER-v2和GraphWalks上取得最高分。虽然在GSM8K和MRCR-v2上略有下降,但这是一个可接受的权衡,因为Forced SWA避免了额外的投影参数,不需要局部KV缓存,从而使得预填充提前退出成为可能。
| 任务 | Gated SWA | No SWA | Forced SWA |
|---|---|---|---|
| 推理 | |||
| BBH | 62.23 | 60.11 | 62.25 |
| MMLU-Pro | 39.15 | 37.19 | 38.12 |
| MATH | 35.82 | 33.82 | 33.38 |
| DROP | 60.06 | 58.94 | 56.85 |
| GSM8K | 64.52 | 60.35 | 59.44 |
| ARC-C | 81.06 | 79.01 | 78.41 |
| HellaSwag | 79.85 | 78.23 | 78.42 |
| WinoGrande | 73.09 | 73.95 | 72.85 |
| 长上下文 (≤32k) | |||
| NoLiMa | 37.62 | 38.37 | 36.16 |
| RULER | 88.19 | 84.55 | 89.84 |
| RULER-v2 | 53.66 | 54.62 | 55.98 |
| MRCR-v2 | 27.66 | 20.73 | 22.67 |
| GraphWalks | 35.39 | 36.48 | 37.13 |
| LongPPL ↓ | 6.8807 | 7.1307 | 6.9838 |
表4:稀疏层中的局部注意力消融实验。
6. 消融实验3:KV桥接
为了测试KV桥接是否具备扩展性,在290B-A8B模型(约1.8T词元,32k上下文)上进行了有无KV桥接的对比。表5显示,KV桥接保持了与无桥接基线相当的质量(MMLU、TriviaQA略有提升,LongPPL改善,部分推理任务下降约1分)。
此外,将KV桥接与KV Mirror(U型连接,反向配对早晚期层)进行了对比。图5显示,KV桥接在大部分训练过程中表现更强,最终RULER得分为87.65,而KV Mirror为81.28。作者假设全注意力层的状态是更好的源,因为全注意力通过整个可见上下文的分数进行反向传播,而SWA将这些直接连接限制在局部窗口内,全注意力更密集的监督产生了保留更多全局信息的表征。
| 任务 | 无桥接 (w/o bridging) | 有桥接 (w/ bridging) |
|---|---|---|
| MMLU | 72.68 | 72.80 |
| TriviaQA | 73.32 | 74.10 |
| BBH | 70.65 | 69.57 |
| DROP | 71.37 | 68.17 |
| GSM8K | 77.63 | 76.65 |
| Repo Code PPL ↓ | 1.1351 | 1.1353 |
| RULER | 96.32 | 96.01 |
| LongPPL ↓ | 3.6053 | 3.4202 |
表5:290B-A8B规模下的KV桥接消融实验。
结论
本文提出了HySparse2,这是一种专为长周期、多轮智能体工作负载设计的混合稀疏注意力架构。作为HySparse和Hybrid SWA的更高效继任者,HySparse2具备更好的长上下文和多轮检索能力、更快的预填充速度以及更低的KV缓存存储需求。其两级KV共享机制使得预填充阶段的KV缓存构建只需运行模型的一半(其中仅包含一个全注意力层)。在预填充-解码分离的部署架构下,预填充节点因此只需要托管模型一半的权重,极大地提升了系统的部署效率和推理性能。
参考文献汇总(方法与背景部分引用)
- 【1】YOCO架构:Sun, Y., et al. (2024). You only cache once: Decoder-decoder architectures for language models. Advances in Neural Information Processing Systems.(用于说明自解码器构建全局KV缓存以实现提前退出)。
- 【2】Gemma 3n:Sanseviero, O., and Ballantyne, I. (2025). Introducing Gemma 3n: The developer guide.(用于说明跨层KV共享在预填充效率上的应用)。
- 【3】HySparse:Gao, Y., et al. (2026). Hysparse: A hybrid sparse attention architecture with oracle token selection and kv cache sharing.(本文的直接前置工作,说明其混合稀疏块内的跨层共享机制)。
- 【4】GQA:Ainslie, J., et al. (2023). GQA: Training generalized multi-query transformer models from multi-head checkpoints. EMNLP.(用于说明注意力头级别的KV压缩)。
- 【5】MQA:Shazeer, N. (2019). Fast transformer decoding: One write-head is all you need.(用于说明注意力头级别的KV压缩)。
- 【6】MLA:Liu, A., et al. (2024a). DeepSeek-V2: A strong, economical, and efficient mixture-of-experts language model.(用于说明将KV表征压缩为潜在状态)。
- 【7】序列级压缩:DeepSeek-AI et al. (2026). DeepSeek-V4: Towards highly efficient million-token context intelligence.(用于说明将多个词元压缩为更少缓存条目)。
- 【8】层级压缩:Brandon, W., et al. (2024). Reducing transformer key-value cache size with cross-layer attention. NeurIPS.(用于说明跨层共享KV缓存)。
- 【9】精度级压缩 (KVQuant):Hooper, C., et al. (2024). KVQuant: Towards 10 million context length LLM inference with KV cache quantization. NeurIPS.(用于说明降低缓存键值的数值精度)。
- 【10】精度级压缩 (KIVI):Liu, Z., et al. (2024b). KIVI: A tuning-free asymmetric 2bit quantization for KV cache. ICML.(用于说明降低缓存键值的数值精度)。
- 【11】稀疏注意力基础:Child, R., et al. (2019). Generating long sequences with sparse transformers.(用于说明稀疏注意力通过限制查询子集降低成本)。
- 【12】词元级稀疏算子:Wang, L., et al. (2025). TileLang: A composable tiled programming model for AI systems.(用于说明现代稀疏算子使得词元级实现变得切实可行)。
- 【13】DFlash草稿模型:Chen, J., et al. (2026). DFlash: Block diffusion for flash speculative decoding.(用于说明后训练阶段可替换MTP层的投机解码草稿模型)。
💬 评论讨论
欢迎在这里分享您的想法和见解!