发表时间: 2026-11 · arXiv:2611.07542
原文: https://arxiv.org/abs/2611.07542
作者/机构: Xuan Wang, Zhuanhao Wu, Tingzhu Fang, Xushi Li, Sicheng Zhang, Zhenyu Yang, Feng Liu, Zhaohui Fan, Qiang Xie, Huayi Zou, Yuncong Liu, Zeyu Song, Ke Zhu, Yanjia Zeng, Jingchun Gao, Yan Shi, Kui Luo, Gezi Li, Liangjun Feng, Cheng Li
一句话结论
提出了一种面向长上下文大模型分离推理的统一键值缓存(KV Cache)卸载架构 FlashOffloading,通过在预填充和解码阶段分别掩盖主机到设备的传输延迟,在严格的单字生成延迟约束下,将预填充和解码吞吐量分别提升了最高 1.38 倍和 1.91 倍。
要解决什么问题
在处理百万级上下文的大模型推理时,KV Cache 的显存占用会随序列长度和并发量线性增长,极易触碰加速卡的高带宽内存(HBM)容量墙。这导致系统无法服务超长请求,或者只能维持极小的批处理大小(Batch Size),严重限制了吞吐量。将 KV Cache 卸载到主机内存(DRAM)是打破容量墙的直接途径,但现有的卸载方案会引入高昂的数据传输和缓存管理延迟。具体而言,预填充(Prefill)阶段的计算密集度高,但如果把所有历史 KV 都留在显存中,会挤占新词和激活值的空间,导致并发量上不去;解码(Decode)阶段虽然可以利用原生稀疏注意力(如 DSA)只访问少量 KV 缓存,但由于必须等待索引器选出 Top-k 标记(Token)后才能知道哪些缓存缺失(Miss),导致细粒度的主机到设备(H2D)加载与注意力计算串行,且传统的缓存状态查询开销会随缓存容量的增大而剧增,最终使得卸载节省下来的显存无法转化为有效的吞吐量提升。
怎么做的
FlashOffloading 的核心思路是构建一个“主机内存为中心、两阶段特化”的统一卸载架构。完整的 KV 历史始终存放在主机 DRAM 中,而设备端仅保留当前阶段所需的最小工作集,并通过精细的流水线设计将数据传输延迟隐藏在计算中。在预填充阶段,由于具有逐层计算的特性,方法采用了一个有界的四层轮转缓冲区设计。第 0 层缓冲区始终常驻显存以消除首层等待,其余三个缓冲区在后续层之间交替轮转。这样可以在当前层进行注意力计算的同时,异步加载未来层的 KV 并写回已完成层的 KV。只要单层的数据传输时间小于计算时间窗口,即满足以下条件,就能实现传输与计算的完全重叠:
在解码阶段,为了解决稀疏注意力下的细粒度传输延迟,设计了三个关键部件。首先是反向稀疏索引 cache_slots,它直接记录每个 Token 在显存中的物理槽位,将缓存缺失查询的时间复杂度从 $O(|C_b|)$ 降至 $O(1)$,使得系统可以无负担地增大热缓存容量以降低缺失率。其次是融合缓存管理算子 LIM,它在执行 Top-k 选择前,将候选 Token 的索引和 cache_slots 状态打包编码成一个 32 位整数,在 Top-k 排序完成后直接解码出缺失结果,实现了零额外开销的缺失查询。最后是计算与加载重叠算子 CopySFA,它将 H2D 内存拷贝与稀疏注意力计算融合在同一个算子内。在算子内部的 KV 收集阶段,命中显存的 Token 正常进行计算,而缺失的 Token 则并行从主机内存拉取,利用计算单元的耗时掩盖了细粒度的传输延迟。
效果如何
实验部署在 32 节点(64 块芯片)的 Ascend910C 预填充-解码(PD)分离集群上,运行开启了 MTP3 投机解码的 GLM-5.2-w4a8c16 模型。对比基线包括:不开启卸载的纯显存基线、仅开启预填充卸载的路线(P-only),以及本文的预填充与解码双卸载路线(P+D)。此外,在机制消融中还对比了代表传统 LRU 淘汰路线的 HiSparse 以及代表算子拆分重叠路线的 ESS。在 90% 前缀命中率的真实工作负载下,FlashOffloading 使得 512K 和 1M 长度的超长序列从“内存溢出无法运行”变为“可稳定服务”。在 64K 输入长度下,双卸载路线相比仅预填充卸载路线,将解码节点的实际 Batch Size 提升了 3 倍,输出吞吐量提升了 67.8%;在预填充端,通过释放显存换取更大的计算块大小,使得 256K 序列的 P99 首字延迟降低了 27.4%,输入吞吐量提升了 37.8%。作者也指出了该方法的代价与局限:解码卸载不可避免地会增加单步推理延迟,在 64K 序列下,双卸载的单字生成时间(TPOT)从 17.0 毫秒退化到了 30.2 毫秒(增加了 77%),但仍处于 30 毫秒的服务等级目标(SLO)之内;此外,不同数据并行(DP)秩之间的缓存缺失率不均,会导致较早完成的设备在同步点空转等待,引入了额外的系统级延迟。
在大型语言模型(LLM)服务系统中,键值(KV)缓存随着序列长度和并发量的增加呈线性增长。因此,长上下文推理极易触及高带宽内存(HBM)的容量墙,导致并发量低下。将KV缓存卸载到主机动态随机存取存储器(DRAM)中可以释放HBM空间并提高并发量,但额外的缓存管理和主机到设备(H2D)的加载开销会增加推理延迟,导致更高的并发量无法转化为有效的吞吐量。
针对这一核心问题,本文提出了FlashOffloading,这是一种以主机DRAM为中心的推理架构,能够在预填充(prefill)和解码(decode)阶段完全卸载KV缓存。其研究目标是在严格的每个输出Token时间(TPOT)服务级别目标(SLO)下,优化整个流水线的KV卸载延迟并提升吞吐量。
本文的主要创新点和贡献如下:
KV缓存容量问题:长序列工作负载产生了巨大的KV缓存容量需求,对LLM服务系统的性能构成了挑战。在LLM推理中,预填充阶段在分块的前向传递中处理输入序列并生成KV缓存;解码阶段在每一步关注所有历史KV缓存以生成新Token(或在推测解码下生成多个Token)。在扣除权重和激活值的空间后,主流推理框架预先将剩余的HBM分配给KV缓存,要求所有运行请求的总KV必须适应其中:
其中$M_{\mathrm{total}}$是总HBM容量,$M_{\mathrm{weight}}$是权重占用空间(仅由模型和并行方案决定),$M_{\mathrm{act}}$是激活占用空间,$BS$是批处理大小,$|S_b|$是第$b$个请求的序列长度。$\kappa_{\mathrm{base}}$是在完全驻留情况下的每个Token的KV缓存占用空间(包括索引器状态):
具体模型容量墙分析:即使对于已经采用多头潜在注意力(MLA)进行降维压缩的GLM-5.2模型,KV缓存仍然非常庞大。在BF16精度下($L_{\mathrm{KV}}=78, D_{\mathrm{KV}}=576, L_{\mathrm{index}}=21, D_{\mathrm{index}}=128$),$\kappa_{\mathrm{base}} = (78 \times 576 + 21 \times 128) \times 2 \mathrm{Bytes} = 95.23 \mathrm{kB}$。这意味着在智能体AI典型的64k、512k和1M序列长度下,每个请求的HBM占用$M_b$分别为6.09 GB、48.76 GB和97.52 GB。鉴于典型的单GPU/NPU HBM容量为64–128 GB,KV缓存极易触及容量墙,对预填充和解码提出了不同的挑战。
预填充KV卸载的动机:在预填充期间,活跃请求的KV缓存随着提示块的处理而增长。将完整的历史记录保存在HBM中会限制上下文长度和并发性,同时留给激活和新Token的空间更少。假设有$H$个历史Token和$N$个新调度的Token,完全驻留需要:
其中$M_{\mathrm{avail}}$是扣除权重和固定分配后的剩余HBM。随着$H$的增长,可行的$N$会缩小,迫使使用更小的块或更少的并发请求。更多前向传递和调度轮次增加了首Token时间(TTFT),而过小的块和批次降低了加速器利用率和输入吞吐量;足够长的请求甚至完全无法容纳。对于部署在双服务器、32 Die Ascend 910C预填充节点(DP2/TP16/EP32)上的GLM-5.2-w4a8,扣除权重、激活和运行时后,每个Rank的KV预算为20.12 GiB。单个1M Token请求(1,048,576个Token)占用约93 GiB,即使批处理大小为1也超出了此预算。
预填充卸载的重叠条件:与传统的预取缓存或交换非活跃请求不同,预填充需要一种能降低活跃KV峰值HBM占用的卸载方案。预填充是计算密集型的,暴露出大量的逐层计算,可以用来重叠数据移动。活跃KV可以放置在主机内存中,并在需要时逐层加载回HBM,同时当前层的计算可以重叠未来层的加载和已完成层的写回。这直接降低了峰值HBM,释放了容量用于更长的上下文、更多的并发请求或更大的块。这些容量增益只有在KV移动不引入过多暴露延迟时才有用。以达到的H2D带宽$\beta_{\mathrm{H2D}}$加载第$\ell$层的$m_\ell$字节至少需要$T_{\mathrm{H2D}}^{(\ell)} \ge \frac{m_\ell}{\beta_{\mathrm{H2D}}}$。令$T_{\mathrm{window}}^{(\ell)}$为在调度预加载和消耗其数据之间的独立计算时间。重叠H2D与计算的一个近似必要条件是:
如果H2D和D2H共享一个串行拷贝路径,左侧还必须包含$T_{\mathrm{D2H}}^{(\ell)}$。其挑战在于如何用一小部分设备缓冲区池来维持这种重叠:过晚的预加载会使注意力计算停滞,而过早的缓冲区重用可能会覆盖仍在被消耗或写回的KV。
解码卸载的动机:KV缓存容量问题使得解码节点触及HBM容量墙,限制了批处理大小,从而限制了吞吐量。以GLM-5.2-w4a8的生产部署为例,在扣除权重和激活后,测得$M_{\mathrm{KValloc}} = 29$ GB。因此,序列长度为$|S_b|$的请求在每个DP Rank上允许的最大解码批处理大小为$BS_{\mathrm{max}} = \lfloor M_{\mathrm{KValloc}} / (\kappa_{\mathrm{base}} \cdot |S_b|) \rfloor$。图1中的测量结果显示了容量墙的两个后果:在序列长度$\ge 512\mathrm{k}$时,单个请求已无法容纳(无法服务超长序列);在$\ge 32\mathrm{k}$时,$BS_{\mathrm{max}}$降至个位数,由于吞吐量等于$BS / \mathrm{TPOT}$,吞吐量发生崩溃。
原生稀疏注意力改变前提:原生稀疏注意力(DSA)的兴起改变了这一前提。自DeepSeek-V3.2和GLM-5以来,DSA已成为主流:一个轻量级的LightningIndexer(LI)选择$T_b \subset S_b$,其中$|T_b| = k$,而SparseFlashAttention(SFA)仅在$T_b$上进行计算。在GLM-5中$k=2048$,计算量降至全注意力的$k / |S_b|$。带有DSA的解码KV缓存卸载可以打破HBM容量墙。将完整的KV缓存$S_b$保留在主机DRAM中,HBM中仅保留热缓存$C_b \subset S_b$。每一步加载$\mathrm{Miss}_b = T_b - C_b$,同时驱逐相同数量的Token,从而在完全驻留的$T_b$上保持无损的SFA。每个请求的HBM占用为$M_b^{\mathrm{offload}} = (L_{\mathrm{KV}}D_{\mathrm{KV}}|C_b| + L_{\mathrm{index}}D_{\mathrm{index}}|S_b|)P$,对于GLM-5.2即为$89.86 \mathrm{kB} \times |C_b| + 5.38 \mathrm{kB} \times |S_b|$。当$|C_b| \ll |S_b|$时,这远低于完全驻留的占用。
解码卸载吞吐量挑战:然而,更大的$BS$并不会自动增加吞吐量。解码吞吐量为$BS / \mathrm{TPOT} = BS \cdot N_{\mathrm{spec}} / \mathrm{ITL}$,其中$N_{\mathrm{spec}}$是每步平均接受的Token数。卸载带来了$\mathrm{ITL}_{\mathrm{offload}} = \mathrm{ITL}_{\mathrm{baseline}} + T_{\mathrm{cache-manage}}L_{\mathrm{index}} + T_{\mathrm{H2D-load}}L_{\mathrm{KV}}$,增加了缓存管理(未命中查找、挑选驱逐等)和未命中加载的延迟。基线吞吐量在$BS \approx 32$时已经饱和,而$T_{\mathrm{H2D-load}}$随$BS$增长。抑制这些项面临三个挑战:(1)大量的未命中需要更大的$|C_b|$来减少加载;(2)缓存管理延迟通常随$|C_b|$增长,与上述补救措施相矛盾;(3)H2D加载在LI和SFA之间串行化,因为加载需要等待top-$k$选择,而SFA需要等待加载。
相关工作对比分析:
提出阶段专用且统一的架构:我们提出了一种阶段专用但统一的KV卸载架构。预填充和解码共享一个由主机DRAM支持的逻辑KV历史记录,连同分页主机块、块表和公共控制平面,同时在设备驻留和传输粒度上进行专业化。已提交的KV驻留在主机内存中,设备仅保留活跃阶段所需的有界工作集。在阶段边界,主机端的KV历史根据部署情况被重用或传输,而设备驻留从全层缓冲区切换到Token级别的热缓存。
预填充与解码的特定分配设计:预填充使用四个全层缓冲区:$B_0$在第一层保持驻留,而$B_1-B_3$在后续层中轮换,以流水线化块级H2D加载、层计算和D2H写回。解码则在HBM中保留原生索引器、一个$C$槽的热缓存、两个新KV尾块以及cache_slots驻留映射。LIM和CopySFA协调选择、精确未命中检索和稀疏注意力,以便只传输模型选择的未命中项。图2展示了这两条阶段专用路径及其共享的主机支持状态。
内存节省的定量分析:设$s_{\mathrm{KV}}$为一个张量并行Rank上每个Token每层的K/V字节数,$T$为上下文长度,$L$为层数,$C$为每层解码热缓存容量,$b$为页面大小。设备驻留基线需要$M_{\mathrm{base}} = LTs_{\mathrm{KV}}$。主要的阶段特定分配近似为:
因此,预填充保留的主要K/V比例为$4/L$,对于$L=78$约为$5.1\%$。解码保留的比例约为$(C+2b)/T$;当$C/T = 1/4$且$b \ll T$时,这接近四倍的缩减。由于原生索引、cache_slots和其他元数据仍可能随$T$扩展,这些表达式量化了主要的K/V数据节省。
利用层级生命周期机制:该设计利用了Transformer的逐层生命周期:尽管每一层都拥有KV状态,但一次只有当前层会消耗其完整的KV张量。主机存储按请求、层和分页Token块保留完整的历史记录,而设备仅分配四个全层缓冲区。$B_0$在整个预填充过程中始终绑定到第一层$L_0$,一个绑定表将$B_1-B_3$轮换到所有后续层。索引器状态和块表元数据单独存储,在缓冲区轮换时不会被覆盖。
保留第一层缓冲区的优势:保持第一层驻留消除了$L_0$的H2D等待时间,并利用其计算来启动后续的加载-计算-写回流水线。后续层保留了高带宽效率的块传输,因此更大的模型深度只会扩大主机存储,而不会增加设备缓冲区的数量。
复用KVConnector实现生命周期:实现复用了vLLM KVConnector暴露的层钩子。$L_0$直接使用常驻的$B_0$;卸载的层$\ell \ge 1$通过wait_for_layer_load和save_kv_layer遵循以下生命周期:
wait_for_layer_load等待该缓冲区的H2D事件。save_kv_layer通过块级D2H将更新的KV异步写回主机内存。在D2H完成之前,主机KV不能被后续阶段消耗。onload_layer_map选择的未来加载。生命周期在连续批处理中的应用:此生命周期适用于每个活跃的预填充批次。连续批处理可能会更新请求块表,但事件依赖性保留了缓冲区所有权。在解码开始之前,所有写回和索引状态更新必须完成。
独立引擎的异步调度流:当平台提供独立的引擎时,运行时使用单独的计算、H2D和D2H流。计算立即在常驻$B_0$中的$L_0$上开始,同时$L_1$加载到$B_1$中。在稳定状态下,计算执行当前层,H2D预加载未来层,D2H提交已完成层;最后的迭代排空未完成的写回。
预取映射与事件依赖:onload_layer_map[i] = j指定了当层$i$到达其调度点时要预加载的未来层$j$。它结合了三个轮换缓冲区和选择的预取距离,不一定选择$i+1$。较慢的H2D可能会提前几层开始,但目标缓冲区必须已完成计算和写回。设备事件使计算等待H2D就绪,重用等待计算和D2H完成;如果没有空闲缓冲区,流水线会等待而不是覆盖实时状态。图3说明了此调度。
实现重叠的计算窗口条件:该流水线实现的重叠取决于可用于预取和缓冲区重用的计算窗口。令$d_{\mathrm{on},\ell}$为预加载层$\ell$和消耗它之间的独立层计算时间,$d_{\mathrm{off},\ell}$为其缓冲区被重用前可用的计算时间。使用独立的H2D和D2H引擎,暴露的延迟满足:
onload_layer_map可以增加预取距离,或者保留更多层驻留。保留$B_0$牺牲了一个轮换槽,但消除了第一层加载,并立即创建了启动流水线的计算窗口。
修改vLLM-Ascend以实现解码卸载:我们修改了vLLM-Ascend,使解码节点执行第2.3节所述的解码KV缓存卸载。如图4所示,请求$b$的完整KV缓存$S_b$保存在主机DRAM中,而HBM仅保存热缓存$C_b \subset S_b$。该设计保留了vLLM的块管理:DRAM块按原始顺序保存所有Token,而HBM块保存分散的热Token($C_b$)。
请求的稳态解码生命周期:从解码节点的角度来看,请求的生命周期为:预填充完成后,其KV缓存被写入解码节点的主机DRAM KV块(P到D传输);第一个解码步骤从DRAM加载$|C_b|$个Token到HBM KV块(首步填充);后续步骤进入稳定状态,在每步的每一层执行缓存换入和驱逐流程。在MTP3下,稳态解码流程为:
其中$\mathrm{Miss}_b$是去重后的4路未命中联合(即本步的加载量),$\mathrm{Evict}_b$与其一一对应,因此热缓存大小不变($|C_b^{\mathrm{new}}| = |C_b|$);①-⑤是该流程的五个步骤。
内核流程的演进设计:图4说明了单请求和单路top-$k = \{8, 4, 17\}$的流程。为了记录哪些Token驻留在HBM中,我们设计了缓存索引cache_slots:一个长度为$|S_b|$的1-D int32张量,记录每个Token的驻留槽位(如果不驻留则为-1)。FlashOffloading的内核流程(图5(b))与未卸载流程(图5(a))有两个不同之处:LI内核被融合的LIM内核取代(在计算top-$k$的同时执行①-④步的缓存管理),SFA内核被融合的CopySFA内核取代(在执行SFA的同时执行第⑤步的H2D加载)。
传统扫描开销与容量的矛盾:扩大$|C_b|$可以减少未命中,但先前的槽位Token索引要求第①步扫描$O(|C_b|)$个条目,导致缓存管理时间$T_{\mathrm{cache-manage}} \sim O(k) + O(|C_b|)$。因此,较小的缓存会增加H2D流量,而较大的缓存会增加管理延迟。
反向索引实现O(1)查找:我们的反向Token槽位cache_slots索引使每次未命中查找成为$O(1)$的查找,将管理开销减少到$T_{\mathrm{cache-manage}} \sim O(k) + O(|\mathrm{Miss}_b|)$,其中$|\mathrm{Miss}_b| \ll |C_b|$。挑选驱逐和索引更新也只涉及未命中项,从而将延迟与容量解耦:$|C_b| / |S_b|$可以从$1/8$增长到$1/4$,支持近$4\times$的批处理大小增加。
融合未命中查找以消除开销:上一节在索引结构层面上将$T_{\mathrm{cache-manage}}$压缩到了$O(k) + O(|\mathrm{Miss}_b|)$;本节进一步压缩未命中查找步骤(即$O(k)$项)。传统方法等待top-$k$完成,然后对每个选定的索引执行一次cache_slots查找——每路$k$次额外的内存访问。我们的方法在top-$k$之前将每个候选Token的索引及其cache_slots值编码为单个int32,使其与分数一起参与选择;选择后,从获胜条目中解码出索引和槽位,未命中结果自然从top-$k$中得出。
编码与解码过程示例:以图4中的20个候选Token为例:
index = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19]
cache_slots = [4, 6, -1, 1, 7, -1, -1, -1, -1, 0, -1, -1, -1, 2, -1, -1, -1, -1, 3, 5]
# top-k之前:将index和cache_slots成对编码;之后:解码出slot和index
topk_index = [8, 4, 17] # 即 T_b
topk_slot = [-1, 7, -1]
topk_slot直接给出了未命中查找结果(token8和token17未命中;token4命中槽位7),未命中查找开销被完全融合到LI的top-$k$中。此优化被实现为Ascend内核LIM(图6),其输出沿两条路径馈送给下游的CopySFA内核:用于注意力计算的top-$k$槽位列表,以及用于第⑤步H2D加载的复制三元组(DRAM源,HBM目标,计数)。
融合H2D加载与SFA内核:缓存管理完成后,必须将$\mathrm{Miss}_b$从DRAM加载到HBM(第⑤步)。先前的工作ESS粗略地将SFA拆分为命中和未命中两个内核以重叠加载,但这破坏了内核内流水线且重叠效果不佳;我们相反地将H2D加载和SFA融合到单个CopySFA内核中,在内核内部以细粒度进行重叠。
KVgather步骤的细粒度重叠:CopySFA的关键在于SFA的KVgather步骤(图7(a)):SFA将2048个Token分成4个Tile,依次执行KVgather(将分散的HBM Token移动到连续的工作区)、$\mathbf{Q} \times \mathbf{K}$、softmax和$\mathbf{A} \times \mathbf{V}$。我们在KVgather内部针对未命中/命中进行分支:未命中Token通过PCIe/HCCS从主机锁定内存获取到片上,而命中Token像以前一样从HBM移动(图7(b));由于LIM已经将未命中Token收集在头部,4个Tile中只有1个涉及DRAM移动。
融合内核降低延迟的原因:融合内核比分离方案延迟更低的原因有两个:(1)减少了一次HBM读取——分离方案的未命中Token经历了“读取DRAM $\to$ 写入槽位 $\to$ 读取槽位 $\to$ 写入工作区”(共4次传递),而CopySFA直接“读取DRAM $\to$ 同时写入槽位和工作区”(3次传递);(2)H2D加载与AIC计算重叠——在分离方案中,AIC在H2D加载期间空闲,而在CopySFA中,DRAM移动与命中Tile的$\mathbf{Q} \times \mathbf{K}$并行运行。
硬件与集群配置:所有实验均在Ascend910C NPU上运行(每张卡2个Die,每个Die 64GB HBM)。内核级单元测试在单个Die上运行;端到端实验在四服务器32卡64-Die集群上运行,采用1P1D预填充-解码分离架构:预填充节点32个Die(DP2/TP16/EP32),解码节点32个Die(DP16/TP2/EP32)。P节点完成预填充后,KV缓存通过H2H传输写入D节点的主机DRAM。
模型与软件配置:使用的模型是GLM-5.2-w4a8c16,解码阶段统一启用MTP3。推理框架是修改后的vLLM 0.30 + vLLM-Ascend 0.30,支持独立切换预填充/解码卸载。
实验工作负载设置:内核单元测试共享一个典型的稳态解码操作点:HBM热缓存预算$C_b = 12288$个Token,每个请求的未命中联合约为300个Token。端到端实验中的HBM缓存预算根据批处理大小在8192-30720个Token之间变化。
实验内容:客户端发送一个请求,包含256,000个输入Token和1个输出Token(仅预填充),前缀命中率为50%(前128,000个Token重用DRAM中的前缀缓存,剩余128,000个重新计算)。改变max-num-batched-tokens(即预填充块大小),对比开启和关闭预填充卸载时的P90 TTFT。
分析结论:
max-num-batched-tokens通过提高计算利用率降低了TTFT。model.forward时加载;卸载时,它在每次前向传递中都会加载。实验内容:在Open-SWE长上下文任务上运行带有MTP3的GLM-5.2,收集每一层的解码时top-2048索引。离线模拟器在相同的访问序列上重放稳态换入/换出流程,对比不同的驱逐策略:Random、LRU、Score和本文的LIM策略。
分析结论:缓存容量是决定未命中数的主要因素,而驱逐策略是次要因素。将$|C_b|$从8192扩大到16384,未命中数减少了43%-49%。我们的典型配置(LIM,$|C_b|=14336$)有268-350次未命中,低于HiSparse的典型配置(LRU,$|C_b|=8192$)的380-406次。尽管更大的$|C_b|$占据了更多HBM,但它保持在序列长度的1/4以下,足以支持约$4\times$的批处理大小增加。
实验内容:在单个Die上对原生LI和LIM进行单元测试,两者执行相同的分数计算和top-$k$,LIM额外执行缓存管理。两者的延迟差即为管理开销。
分析结论:额外的缓存管理延迟仅在$106-232 \mu\mathrm{s}$量级。在端到端中,GLM-5.2的78层中只有21层有LI/LIM内核,因此每个解码步骤仅增加约$160 \mu\mathrm{s} \times 21 \approx 3.4$ ms的延迟,这只是约100 ms总ITL的一小部分。
实验内容:验证CopySFA的H2D加载重叠效果。基线串行运行H2Dcopy和SFA作为两个内核。批处理大小从1扫描到32。
分析结论:CopySFA在所有配置中均产生正增益,加速比为$1.03\times - 1.27\times$。重叠率在批处理大小$\ge 16$时达到了90%-98%。
实验内容:在真实的PD分离推理场景中,向系统发射并发请求突发:输入长度64,000-1,000,000个Token,输出长度1(仅预填充)或8192个Token,前缀命中率设置为90%。对比三种配置:无卸载、仅P卸载、P+D双卸载。
分析结论:
max-num-batched-tokens从16384提升至131072($8\times$)。解码端到端延迟分解分析(图13):
对模型设计的启示:为了克服KV缓存HBM容量墙,模型架构正沿着三条路线演进:DSA(如GLM-5、DeepSeek-V3.2)、极端压缩和线性注意力。后两者削减了容量但丢弃了信息并损害了能力;DSA保持了容量,仅利用注意力固有的稀疏性动态忽略某些Token,能力损失最小。如果没有低延迟卸载,DSA的容量成本将把模型推向有损路线;FlashOffloading将DSA的完整KV历史托管在主机DRAM中,并控制了延迟,使DSA路线在工程上可行,并让模型向能力损失最小的方向演进。
对加速器硬件设计的启示:FlashOffloading表明,下一代NPU/GPU可以配备较少的HBM以降低成本,将预填充和解码KV缓存卸载到推理系统已经具备的前缀缓存DRAM层。
本文提出了FlashOffloading,这是一种用于PD分离的长上下文推理的全KV缓存卸载架构:主机DRAM保存权威的KV副本,而驻留和传输粒度按阶段切换。预填充流水线化了一个有界的四层缓冲池;解码将缓存管理延迟与缓存预算解耦(cache_slots,LIM),并在稀疏注意力内部重叠未命中加载(CopySFA)。在Ascend910C上,缓存管理仅增加了几百微秒的延迟,高达98%的未命中加载被重叠;在端到端测试中,64K的解码吞吐量提高了$1.68\times$,512K/1M序列变得可服务——所有这些都没有改变模型定义的注意力集:卸载仅改变了数据放置,没有改变计算结果。