HySparse2: Hybrid Sparse Attention with Two-Level KV Sharing

发表时间: 2026-09 · arXiv:2609.26368 (Xiaomi)

原文: https://arxiv.org/abs/2609.26368

作者/机构:Jianyu Wei, Yizhao Gao, Qihao Zhang, Shimao Chen, Zhengju Tang, Yu Cheng, Shengjie Zhou, Zihan Jiang, Yifan Song, Hailin Zhang, Liang Zhao, Bo Yang, Gang Wang, Shijie Cao, Fuli Luo / LLM-Core Xiaomi

速读

一句话结论 HySparse2 提出了一种具有两级 KV 共享机制的混合稀疏注意力架构,在大幅降低长上下文预填充计算量和 KV 缓存占用的同时,提升了智能体任务中的长上下文检索精度。

要解决什么问题 在多轮交互的智能体推理中,模型通常只生成简短的动作指令,却需要处理来自工具和环境的超长返回结果。随着多轮观察结果的不断积累,推理过程变得极度依赖输入,上下文长度急剧膨胀,导致注意力计算开销和 KV 缓存占用迅速增加。现有的高效架构(如 HySparse)通过交替使用全注意力和稀疏注意力来减少缓存和计算量,但仍卡在两个关键瓶颈上:第一,预填充阶段依然需要完整执行所有网络层,无法跳过计算,导致长文本输入的预填充成本极高;第二,为了工程实现方便而采用的块级别稀疏选择粒度过于粗糙。在智能体轨迹中,关键信息往往与特殊分隔符交织分布,块级别稀疏为了保留一个关键词元,会把预算浪费在其相邻的无关词元上,导致在面对跨越多轮对话的细粒度信息时无法精准命中关键证据,长上下文检索精度严重下降。

怎么做的 HySparse2 的核心思路是引入两级 KV 共享机制,并结合 YOCO 风格的自解码器与交叉解码器架构,从而实现更精准的稀疏检索以及预填充阶段的提前退出。在外部层级,方法设计了 KV Bridging 机制来桥接两个解码器中的全注意力层。交叉解码器中的全注意力层不再从头计算 KV 缓存,而是直接接收自解码器对应全注意力层的输入隐藏状态 ${\bf H}_i^{\mathrm{self}}$,并使用自己独立的投影矩阵生成键和值,其查询则依然由自身的隐藏状态 ${\bf H}_j^{\mathrm{cross}}$ 投影得到:

$$ {\bf K}_j^{\mathrm{cross}} = \mathrm{Proj}_j^K \left( {\bf H}_i^{\mathrm{self}} \right), \quad {\bf V}_j^{\mathrm{cross}} = \mathrm{Proj}_j^V \left( {\bf H}_i^{\mathrm{self}} \right), \quad {\bf Q}_j^{\mathrm{cross}} = \mathrm{Proj}_j^Q \left( {\bf H}_j^{\mathrm{cross}} \right) $$


在内部层级,方法保留了 HySparse 的 KV Reuse 设计,即在一个混合块内,稀疏注意力层直接复用全注意力层的 KV 缓存和筛选索引。为了绕开原有的精度和效率卡点,HySparse2 做了两个关键改造。首先,将块级别稀疏替换为词元级别稀疏,把有限的注意力预算精确分配给上下文中真正相关的独立词元,大幅提升了检索精度。其次,移除了稀疏层中独立的滑动窗口注意力分支,改为在稀疏选择时强制保留最近的一段词元窗口。原有的独立滑动窗口分支会产生级联依赖,要求交叉解码器必须处理很长的词元后缀;而强制窗口设计让局部词元和全局词元共享同一个 KV 缓存,彻底切断了这种依赖。通过这两级共享与改造,交叉解码器的所有 KV 缓存都能由自解码器的隐藏状态构建,预填充阶段在执行完自解码器后即可直接退出,完全跳过交叉解码器的计算,使得预填充节点只需加载一半的模型权重。

效果如何 实验基于 80B 参数的 MoE 模型(激活 3B 参数)搭建,包含 49 个 Transformer 层,使用约 500B tokens 进行 32K 上下文预训练,并用 100B tokens 进行 256K 上下文的轻量后训练。对比基线有两个:代表块级别稀疏与门控局部窗口路线的 HySparse,以及代表混合滑动窗口注意力路线的 Hybrid SWA。在轻量后训练后的智能体长上下文评估中,HySparse2 在所有测试长度下均优于基线。在检索任务上,其 MRCR-v2 和 RULER-v2 的平均得分比 HySparse 分别提升了 11.30 和 19.81 个百分点;在 256K 极长上下文下,RULER-v2 得分达到 58.45,远超 HySparse 的 32.61。在效率方面,当上下文达到 1M tokens 时,HySparse2 的预填充 FLOPs 相比 HySparse 和 Hybrid SWA 分别降低了 2.92 倍和 5.02 倍,且 KV 缓存仅占用 2.69 GB(基线分别为 6.72 GB 和 12.09 GB)。作者也承认了该方法的局限性:为了实现预填充提前退出而采用的强制局部窗口设计,相比于保留独立门控滑动窗口分支的做法,在 GSM8K 和 MRCR-v2 任务上会带来约 5 个百分点的性能折损,但换取了巨大的预填充效率收益。

主要贡献

针对长周期(Long-horizon)和多轮智能体(multi-turn agents)在推理过程中通常生成简短动作但需要处理来自工具和环境的超长观察结果的问题,本文提出了HySparse2架构。随着上下文的不断增长,这种工作负载对高效的预填充(prefill)、紧凑的KV缓存(KV-cache)存储以及准确的长上下文检索提出了极高的要求。

为了满足这些需求,本文的主要研究目标是改进先前的HySparse架构,提出了一种具有两级KV共享(Two-Level KV Sharing)的混合稀疏注意力机制:

  1. 外层共享(Outer Level):引入了KV桥接(KV Bridging)机制,采用了类似YOCO的自解码器(self-decoder)和交叉解码器(cross-decoder)结构,但仅在全注意力(full-attention)层之间进行桥接。自解码器使用混合滑动窗口注意力(SWA),而交叉解码器使用混合稀疏注意力。交叉解码器中全注意力层的KV缓存,完全由自解码器中全注意力层的隐藏状态生成。
  2. 内层共享(Inner Level):保留了HySparse核心的KV复用(KV Reuse)设计,并进行了两项关键改进。首先,将块级(block-level)稀疏性替换为词元级(token-level)稀疏性,以实现更精细的长上下文检索;其次,移除了稀疏层中独立的SWA分支,转而强制将最近的词元滑动窗口纳入稀疏选择中。

这种两级KV共享机制使得所有交叉解码器的KV缓存都可以从自解码器的隐藏状态中构建。因此,预填充阶段可以在执行完自解码器后直接退出(Early Exit),完全跳过所有交叉解码器层。在80B-A3B的混合专家(MoE)模型上的实验表明,HySparse2在长上下文检索和多轮智能体任务上超越了HySparse和Hybrid SWA,同时大幅降低了预填充的计算量和KV缓存的存储需求。

图1 HySparse2以更低的预填充成本和更小的KV缓存存储提供了更好的长上下文性能。
图1 HySparse2以更低的预填充成本和更小的KV缓存存储提供了更好的长上下文性能。

背景知识与研究动机

高效预填充(Efficient Prefill)
长周期和多轮智能体使得推理过程越来越受输入主导(input-dominated)。工具调用返回的响应所增加的词元数量,往往远远超过产生这些动作的生成词元数量。仅仅降低注意力计算的成本,并不能消除将这些词元在主干网络中前向传播所需的计算量。跨层的KV缓存共享可以同时减少KV存储和预填充计算量。例如,YOCO架构通过使用自解码器构建一个全局KV缓存并供交叉解码器层共享,使得预填充阶段的缓存构建可以在自解码器之后退出(参考引文:Sun et al., 2024)。Gemma 3n也采用了相关的跨层KV共享来提高预填充效率(参考引文:Sanseviero and Ballantyne, 2025)。先前的HySparse在其混合稀疏注意力块中应用了跨层共享:每个全注意力层将其全局KV缓存和Top-$k$块索引共享给后续的稀疏注意力层,但其预填充阶段仍然需要执行所有的网络层(参考引文:Gao et al., 2026)。基于此,HySparse2进一步将类YOCO的结构整合进HySparse中,将减少的注意力计算、降低的KV存储与更短的预填充路径结合在了一起。

KV缓存压缩(KV Cache Compression)
智能体工作负载需要更紧凑的KV缓存。现有的KV缓存压缩技术主要涵盖四个维度:注意力头(head)、序列(sequence)、网络层(layer)和数值精度(precision)。

稀疏注意力粒度(Sparse Attention Granularity)
稀疏注意力通过将每个查询(query)限制在KV条目的一个子集上,从而降低了长上下文的注意力成本(参考引文:Child et al., 2019)。然而,其选择的粒度在建模准确性和推理效率之间造成了固有的权衡。HySparse曾将块级稀疏性(block-level sparsity)作为一种实用的折中方案,因为评估显示其没有明显的准确性劣势,且规则的块结构能够实现高效的底层算子(kernels)。但是,现代智能体工作负载涉及长周期的多轮轨迹,这要求从极长的历史上下文中进行精确检索。在这些模式下,块级选择暴露出明显的准确性劣势,而词元级(token-level)选择能够更忠实地检索出相关证据。近期稀疏算子的进展也使得词元级的实现变得切实可行(参考引文:Wang et al., 2025)。因此,HySparse2采用了词元级稀疏性,以实现更精确的上下文选择。

方法细节

架构概览
HySparse2的整体架构借鉴了YOCO的设计,将主干网络划分为一个自解码器(self-decoder)和一个交叉解码器(cross-decoder)。这两个解码器均采用混合注意力机制。其中,自解码器将全注意力与滑动窗口注意力(SWA)混合,用于局部建模;交叉解码器则将全注意力与稀疏注意力混合,用于全局检索。HySparse2的核心在于两级KV共享:

图2 HySparse2中的两级KV共享。FA、SWA和SA分别代表全注意力、滑动窗口注意力和稀疏注意力。左图:在自解码器和交叉解码器之间带有KV桥接的整体架构。预填充缓存构建可以在自解码器之后退出。右图:带有词元级稀疏注意力和强制局部窗口的HySparse2块。通过KV复用,SA层复用了该块的FA KV缓存和选择索引。
图2 HySparse2中的两级KV共享。FA、SWA和SA分别代表全注意力、滑动窗口注意力和稀疏注意力。左图:在自解码器和交叉解码器之间带有KV桥接的整体架构。预填充缓存构建可以在自解码器之后退出。右图:带有词元级稀疏注意力和强制局部窗口的HySparse2块。通过KV复用,SA层复用了该块的FA KV缓存和选择索引。

仅限全注意力的KV桥接(Full-Attention-Only KV Bridging)
KV桥接操作严格限制在自解码器和交叉解码器的全注意力层之间进行。假设存在一对全注意力层$(i, j)$,其中第$i$层位于自解码器,第$j$层位于交叉解码器。令$\mathbf{H}_i^{\mathrm{self}}$和$\mathbf{H}_j^{\mathrm{cross}}$分别表示它们对应的输入隐藏状态。交叉解码器第$j$层计算其键(keys)、值(values)和查询(queries)的公式如下:

$$ \mathbf{K}_j^{\mathrm{cross}} = \mathrm{Proj}_j^K \left( \mathbf{H}_i^{\mathrm{self}} \right), \quad \mathbf{V}_j^{\mathrm{cross}} = \mathrm{Proj}_j^V \left( \mathbf{H}_i^{\mathrm{self}} \right), \quad \mathbf{Q}_j^{\mathrm{cross}} = \mathrm{Proj}_j^Q \left( \mathbf{H}_j^{\mathrm{cross}} \right). $$


因为每个交叉解码器的全注意力层都拥有自己独立的$\mathrm{K}/\mathrm{V}$投影矩阵,所以即使多个层共享同一个隐藏状态源,它们依然会构建出截然不同的KV缓存。同时,每个层也保留了一个独立的Q投影矩阵,该矩阵作用于其自身当前的隐藏状态。KV桥接机制支持在两个解码器中设置不同的混合注意力比例,这允许一个自解码器的全注意力层为多个交叉解码器的全注意力层提供输入(如前文图2所示)。

跨层KV复用(Cross-Layer KV Reuse)
在内层设计上,HySparse2对HySparse进行了两项关键的改进:采用词元级稀疏选择和移除独立的SWA分支。

这一设计是实现预填充阶段在自解码器后完全提前退出(Early Exit)的关键。如果交叉解码器中存在独立的SWA分支,那么它就需要从自身隐藏状态的投影中构建一个KV缓存的后缀(suffix)。由于网络深度的增加,这种构建会进一步依赖于前面层中不断扩大的隐藏状态集合,导致计算量随深度线性增长。这种级联的SWA依赖性迫使交叉解码器必须处理一个远长于窗口大小的词元后缀。要获得这些所需的状态,要么必须在预填充期间进行计算(这阻碍了完全跳过交叉解码器),要么必须采用诸如有界重放(bounded replay)等近似方法。HySparse2通过架构上的构建彻底消除了这种依赖,使得在预填充期间交叉解码器不需要进行任何计算。此外,在门控基线模型中,移除该分支还消除了独立投影带来的大量参数开销。

全注意力的作用(The Role of Full Attention)
HySparse2和HySparse都保留了少量的全注意力层,因为作者认为全注意力对于保证模型质量仍然至关重要。这些全注意力层同时充当了索引器(indexers)的角色,利用精确的注意力分数去为后续的稀疏层提供“预言机(oracle)”级别的词元选择。这种设计原生支持端到端训练,无需引入独立的索引器,也无需使用辅助的蒸馏目标来训练索引器。尽管如此,全注意力的计算代价依然高昂,因此全注意力层的比例被保持在较低水平。在HySparse2中,预填充KV缓存的构建仅需要一个全注意力层。借鉴近期稀疏化方法的思路,未来在后训练阶段,可以进一步用轻量级索引器加上稀疏注意力来近似保留的全注意力层;未来的架构也可以通过减少全注意力层中的查询头数量并增加稀疏注意力层中的查询头数量,来将计算量更多地分配给稀疏注意力。

推理架构(Inference Architecture)

实验环境

模型 #全注意力层数 注意力头数 (Q/KV) 头维度 (QK/V)
Hybrid SWA 9 64/4 192/128
HySparse 5 64/4 192/128
HySparse2 5 64/1 256/256

表1:三种注意力设计的配置对比。

实验结果

1. 预训练整体性能对比
如表2所示,在预训练阶段,HySparse2在通用能力(知识、推理、代码)上与两个基线模型(Hybrid SWA和HySparse)保持了广泛的可比性,而其最明显的提升在于长上下文建模。HySparse2在RULER和NoLiMa上取得了最高分,分别比HySparse提高了5.88和9.49分。它还实现了最低的Repo Code PPL(1.1570)。在具体的通用任务上表现互有胜负,HySparse2在BBH和MMLU-Pro上更强,而HySparse在DROP上保持优势。

任务 Hybrid SWA HySparse HySparse2
知识类
MMLU 61.48 64.48 63.92
MMLU-Redux 63.96 68.44 67.50
C-Eval 65.08 67.09 67.90
CMMLU 67.41 69.97 69.90
TriviaQA 60.59 60.67 59.67
推理类
BBH 60.14 61.93 64.29
MMLU-Pro 36.12 35.74 37.56
MATH 36.18 36.14 34.32
DROP 60.90 63.78 58.99
GSM8K 64.44 64.14 61.94
ARC-C 75.51 79.18 77.82
HellaSwag 79.38 79.19 79.54
WinoGrande 73.72 74.19 71.82
代码类
HumanEval+ 35.98 34.76 34.15
MBPP+ 55.56 52.65 52.65
Repo Code PPL ↓ 1.1578 1.1588 1.1570
长上下文
RULER 88.71 84.89 90.77
NoLiMa 30.13 40.27 49.76

表2:80B-A3B模型的预训练性能。

2. 智能体与长上下文性能(后训练)
在经过约100B词元的轻量级后训练后,评估了多轮检索(MRCR-v2, RULER-v2)和智能体轨迹上的长上下文似然(AgentPPL, LongPPL)。如图3所示,HySparse2在所有评估长度上的四个指标均领先于两个基线。最大的收益体现在检索上:相对于HySparse,其MRCR-v2和RULER-v2的平均得分分别提高了11.30和19.81分;相对于Hybrid SWA,分别提高了6.44和18.65分。在256k长度下优势依然巨大(HySparse2在RULER-v2上达到58.45,而HySparse为32.61,Hybrid SWA为35.74)。同时,HySparse2在整个评估范围内实现了更低的AgentPPL和LongPPL。

图3 轻量级后训练阶段后的长上下文性能。HySparse2在所有评估的上下文长度上均实现了比两个基线更高的检索分数和更低的困惑度。
图3 轻量级后训练阶段后的长上下文性能。HySparse2在所有评估的上下文长度上均实现了比两个基线更高的检索分数和更低的困惑度。

3. 预填充计算与KV缓存存储开销
在1k到1M词元的上下文长度下(FP8 KV缓存),对比了预填充FLOPs和KV缓存大小。如图4所示,在1M词元时,HySparse2的预填充FLOPs相对于HySparse减少了$2.92\times$,相对于Hybrid SWA减少了$5.02\times$。HySparse2的KV缓存仅占用2.69 GB,而HySparse为6.72 GB,Hybrid SWA为12.09 GB。

图4 80B-A3B模型的预填充计算和KV缓存存储。相对于HySparse和Hybrid SWA,HySparse2降低了这两项成本。
图4 80B-A3B模型的预填充计算和KV缓存存储。相对于HySparse和Hybrid SWA,HySparse2降低了这两项成本。

4. 消融实验1:词元级 vs 块级稀疏性
在相同的注意力预算下(选择1024个全局词元,保留128个局部窗口),对比了块级(块大小64)和词元级选择。表3显示,词元级选择在长上下文检索和图推理上取得了明显的收益:RULER-v2提升了6.57分,双针MRCR-v2提升了8.14分,GraphWalks提升了5.55分。这是因为智能体轨迹交织了推理、工具调用和观察,关键信息分散,词元级选择能更精确地将预算分配给跨上下文的独立位置,而不是浪费在相邻的无用词元上。

任务 块级 (Block) 词元级 (Token)
预训练
BBH 61.93 60.70
MMLU-Pro 35.74 36.97
NoLiMa 40.27 38.43
长上下文 (≤32k)
RULER-v2 49.56 56.13
MRCR-v2 (2-needle) 12.94 21.08
GraphWalks 29.38 34.92

表3:预训练后词元级与块级稀疏选择的对比。

5. 消融实验2:稀疏层中的局部窗口
对比了三种处理稀疏层内部局部上下文的方法:独立的门控128词元SWA分支(Gated SWA)、移除独立SWA分支(No SWA)、以及强制将最近128个词元纳入稀疏选择(Forced SWA)。表4显示,局部信息对于稀疏注意力是必要的(No SWA性能下降)。Forced SWA在多项任务上与Gated SWA保持竞争力,并在RULER、RULER-v2和GraphWalks上取得最高分。虽然在GSM8K和MRCR-v2上略有下降,但这是一个可接受的权衡,因为Forced SWA避免了额外的投影参数,不需要局部KV缓存,从而使得预填充提前退出成为可能。

任务 Gated SWA No SWA Forced SWA
推理
BBH 62.23 60.11 62.25
MMLU-Pro 39.15 37.19 38.12
MATH 35.82 33.82 33.38
DROP 60.06 58.94 56.85
GSM8K 64.52 60.35 59.44
ARC-C 81.06 79.01 78.41
HellaSwag 79.85 78.23 78.42
WinoGrande 73.09 73.95 72.85
长上下文 (≤32k)
NoLiMa 37.62 38.37 36.16
RULER 88.19 84.55 89.84
RULER-v2 53.66 54.62 55.98
MRCR-v2 27.66 20.73 22.67
GraphWalks 35.39 36.48 37.13
LongPPL ↓ 6.8807 7.1307 6.9838

表4:稀疏层中的局部注意力消融实验。

6. 消融实验3:KV桥接
为了测试KV桥接是否具备扩展性,在290B-A8B模型(约1.8T词元,32k上下文)上进行了有无KV桥接的对比。表5显示,KV桥接保持了与无桥接基线相当的质量(MMLU、TriviaQA略有提升,LongPPL改善,部分推理任务下降约1分)。
此外,将KV桥接与KV Mirror(U型连接,反向配对早晚期层)进行了对比。图5显示,KV桥接在大部分训练过程中表现更强,最终RULER得分为87.65,而KV Mirror为81.28。作者假设全注意力层的状态是更好的源,因为全注意力通过整个可见上下文的分数进行反向传播,而SWA将这些直接连接限制在局部窗口内,全注意力更密集的监督产生了保留更多全局信息的表征。

任务 无桥接 (w/o bridging) 有桥接 (w/ bridging)
MMLU 72.68 72.80
TriviaQA 73.32 74.10
BBH 70.65 69.57
DROP 71.37 68.17
GSM8K 77.63 76.65
Repo Code PPL ↓ 1.1351 1.1353
RULER 96.32 96.01
LongPPL ↓ 3.6053 3.4202

表5:290B-A8B规模下的KV桥接消融实验。

图5 预训练期间KV桥接与KV Mirror的对比。KV桥接取得了更高的RULER分数。
图5 预训练期间KV桥接与KV Mirror的对比。KV桥接取得了更高的RULER分数。

结论

本文提出了HySparse2,这是一种专为长周期、多轮智能体工作负载设计的混合稀疏注意力架构。作为HySparse和Hybrid SWA的更高效继任者,HySparse2具备更好的长上下文和多轮检索能力、更快的预填充速度以及更低的KV缓存存储需求。其两级KV共享机制使得预填充阶段的KV缓存构建只需运行模型的一半(其中仅包含一个全注意力层)。在预填充-解码分离的部署架构下,预填充节点因此只需要托管模型一半的权重,极大地提升了系统的部署效率和推理性能。


参考文献汇总(方法与背景部分引用)