CXL-SpecKV: A Disaggregated FPGA Speculative KV-Cache for Datacenter LLM Serving

发表时间: 2026-02 · arXiv:2512.11920 (FPGA 2026)

原文: https://arxiv.org/abs/2512.11920

作者/机构：Dong Liu (Yale University), Yanxuan Yu (Columbia University)

速读

一句话结论
提出 CXL-SpecKV 系统，通过 CXL 互联技术将 KV-cache 卸载至 FPGA 远端内存，并结合投机性预取与硬件级压缩，在几乎不增加延迟的情况下打破 GPU 显存墙，使大模型推理吞吐量提升最高 3.2 倍，内存成本降低 2.8 倍。

要解决什么问题
大语言模型在自回归解码阶段，需要将所有历史 token 的键值张量（KV-cache）保存在显存中。随着并发请求数和上下文长度的增加，KV-cache 的显存占用会呈线性爆炸。例如，在服务 LLaMA-2 70B 模型时，若上下文长度为 2048、批处理大小为 32，仅 KV-cache 就会消耗 640GB 显存，远超单张 80GB A100 GPU 的物理容量上限。这种显存容量瓶颈直接锁死了系统能支持的最大批处理大小，导致计算资源闲置、整体吞吐量上不去。现有的显存卸载方案（如基于 PCIe 将数据转移到 CPU 内存或磁盘）受限于极低的传输带宽（通常为 8 到 12GB/s）和微秒级的极高延迟，会严重拖慢生成速度；而纯算法层的 KV-cache 压缩或量化技术，虽然能缓解压力，但无法从根本上突破单机物理显存的硬性天花板。

怎么做的
核心思路是利用 CXL（一种支持缓存一致性、亚微秒级低延迟的互联协议）进行内存解耦，将海量的 KV-cache 存放到远端 FPGA 挂载的大容量内存中，同时通过预测未来的 token 来提前拉取对应缓存，从而完美掩盖跨设备访问的物理延迟。系统由三个关键部件构成：首先是 CXL 内存管理框架，它在 GPU 本地缓存、GPU 预取缓冲区和远端 CXL 内存池之间建立了三级存储层级，并根据访问频率动态迁移热点数据。其次是投机性预取器，这是掩盖延迟的核心。由于大模型解码具有顺序依赖性，该部件在 FPGA 上运行一个仅 128KB 的轻量级 LSTM 模型，根据最近生成的 16 个 token 预测未来最可能出现的几个 token，并异步触发 DMA 传输，将对应的 KV-cache 提前搬运到 GPU。为了在不同 Transformer 层之间实现流水线并行，预取操作的有效延迟被定义为：

$$T_{effective} = T_{compute} + \max(T_{prefetch} - 2 \times T_{layer}, 0)$$


为了防止过度预取挤占带宽，系统还会根据 CXL 链路的实时利用率 $U_{CXL}(t)$，通过反馈控制动态调节预取的激进程度 $\beta$：

$$\beta(t+\Delta t) = \beta(t) \cdot \big(1 - \kappa \cdot \mathrm{ReLU}(U_{CXL}(t) - \theta_{target})\big)$$
最后是 FPGA 缓存引擎，这是一个运行在 800MHz 的纯硬件流水线，负责虚拟到物理地址的转换，并对进出 CXL 内存的数据进行实时的硬件级压缩与解压（结合 INT8 量化、差分编码和游程编码），在不消耗 GPU 算力的前提下将内存带宽需求降低 3 到 4 倍。

效果如何
实验在 8 张 NVIDIA A100 80GB GPU 和 4 张 Intel Agilex-7 FPGA 搭建的硬件平台上进行，测试了 LLaMA-2/3、Qwen 等参数量从 1.8B 到 72B 的模型。对比基线包括：受限于本地显存的纯 GPU 方案（vLLM）、代表 PCIe 卸载路线的 CPU 卸载方案（FlexGen），以及不带预取机制的纯 CXL 卸载方案（CXL-NoSpec）。在聊天、问答和代码生成等任务下，CXL-SpecKV 凭借 4 到 8 倍的显存容量扩展，支持了更大的批处理大小，使吞吐量比纯 GPU 基线提升了 2.1 到 3.2 倍，比 CPU 卸载方案提升了 4.3 倍。在延迟方面，轻量级预取器达到了 95% 的预测准确率，成功隐藏了 76% 的远端访问延迟，使得单 token 生成延迟仅比纯 GPU 本地读取增加了 8.2%。在代价与局限性方面，由于预测不可能完美，约有 12.8% 的预取数据最终未被使用，造成了一定的带宽浪费；同时，当预取未命中需要同步回退到 CXL 内存拉取时，会导致 P99 尾部延迟增加 12.3%。此外，在扩展到 8 张 GPU 时，由于跨设备批处理调度的协调开销增加，多卡并行效率会轻微下降至 87%。

主要贡献

大型语言模型（LLMs）在自回归解码过程中，键值（KV）缓存会消耗海量的GPU内存，这极大限制了批处理大小和系统整体吞吐量。传统的解决方案包括内存卸载【41，Flexgen: High-throughput generative inference of large language models with a single gpu+2023+arXiv】、KV缓存压缩【16，Kvquant: Towards 10 million context length llm inference with kv cache quantization+2024+arXiv】和推测解码【20，Fast inference from transformers via speculative decoding+2023+arXiv】，但这些方法分别受限于带宽瓶颈、精度下降或持续的内存限制。最近Compute Express Link (CXL)【11，Compute Express Link Specification Revision 2.0+2022】和FPGA架构【12，Intel Agilex 7 FPGA Architecture+2024】的发展提供了新的契机。

为了解决内存墙挑战，本文提出了CXL-SpecKV，这是一种新颖的解耦KV缓存架构，结合了CXL内存解耦与FPGA加速的推测执行技术。该研究的核心创新点和贡献如下：
1. 首个专门针对LLM KV缓存管理的CXL解耦内存架构：实现了将KV缓存透明卸载到CXL内存，有效扩展了4至8倍的内存容量，证明了内存池化在推理工作负载中的可行性和优势。
2. 推测性KV缓存预取机制：利用自回归token生成的周期性可预测模式，预测并预加载未来token的缓存条目，在保持低计算开销的同时实现了高达95%的预测准确率，有效隐藏了CXL的访问延迟。
3. FPGA加速的KV缓存压缩与管理引擎：设计并实现了用于KV缓存压缩（3-4倍压缩率）、解压缩和地址转换的高效FPGA加速器，卸载了GPU的计算负担。
4. 无缝的系统集成：开发了与主流LLM服务框架（vLLM, TensorRT-LLM）集成的完整系统原型，证明了实际部署的可行性。
5. 全面的性能评估：在最先进的LLM模型上评估显示，与仅使用GPU的基线相比，CXL-SpecKV实现了高达3.2倍的吞吐量提升，降低了2.8倍的内存成本，同时保持了模型精度，对于内存受限的工作负载可潜在降低30-40%的基础设施成本。

背景知识与关键观察

KV缓存内存需求分析：对于具有$L$层、隐藏维度$d_h$和$H$个注意力头的Transformer模型，每个token在每层生成维度为$(H, d_h/H)$的KV张量。对于最大序列长度为$S_{max}$且批大小为$B$的请求，总内存需求公式为$M_{KV} = 2 \cdot L \cdot B \cdot S_{max} \cdot d_h \cdot P_{bits}$，其中$P_{bits}$为精度。以LLaMA-2 70B为例（$L = 80$，$d_h = 8192$，$B = 32$，$S_{max} = 2048$，FP16），仅KV缓存就消耗640GB，远超A100的80GB容量。

KV缓存访问模式的关键观察：通过性能分析，发现了可被CXL-SpecKV利用的六个关键特征：（1）顺序的时间局部性：生成token $t$时会访问位置$[0, t-1]$，这使得预测性预取成为可能；（2）层间独立性：允许逐层流水线处理；（3）读密集型负载：读写比$\mathcal{R}_{r/w} \approx 5:1$，非常适合缓存；（4）数值聚集于零附近：支持INT8量化，精度损失极小（$>99\%$），压缩比$\mathcal{R}_c = 2\times$；（5）注意力头的空间相关性：可通过增量编码$\delta_i = x_i - x_{i-1}$进一步压缩；（6）特定层的可压缩性：早期层压缩率可达$\mathcal{R}_c(\ell < L/3) \in [3,4]$，后期层为$\mathcal{R}_c(\ell > 2L/3) \in [2.5,3]$。这些观察指导了系统的推测预取、流水线压缩和自适应算法选择设计。

方法细节

系统架构概述

系统组件构成：CXL-SpecKV系统由四个主要组件构成。第一是GPU推理引擎，GPU托管Transformer模型权重并执行用于token生成的正向传播，它在本地维护一个小型KV缓存（通常是最近的128-256个token）以最大化热数据的缓存命中率。第二是CXL内存池，它通过CXL 2.0接口连接大容量FPGA附加内存（每个设备64-256GB），作为KV缓存的主存储。该内存被组织为GPU和FPGA均可访问的缓存一致性共享资源，延迟在200-400ns之间。第三是FPGA缓存引擎，这是一个定制的FPGA加速器，用于实现压缩/解压缩流水线、地址转换和缓存管理逻辑，其运行频率为800MHz，吞吐量达到$1.6 \mathrm{TB}/s$，与HBM2E内存带宽相匹配。第四是推测预取器，这是一个运行在FPGA上的轻量级预测模块，用于预测未来的token序列并预加载其对应的KV缓存条目。该预取器使用小型的128KB LSTM模型，预测延迟小于$10 \mu s$。

组件交互流程：当GPU生成一个新的token时，它会向推测预取器发送一个预取提示。预取器接着预测接下来的$k$个token（通常$k = 4 - 8$）。随后，预取器启动DMA传输，将预测的KV缓存条目从CXL内存移动到GPU可访问的缓冲区中。与此同时，系统计算并存储新生成token的KV缓存。最后，当下一个token生成开始时，其所需的KV缓存条目有很大概率（95%命中率）已经存在于GPU内存中，从而有效地隐藏了CXL的访问延迟。

CXL内存管理框架

内存层级与分配策略：CXL-SpecKV实现了一个三层内存层级。L1是GPU本地缓存（8-16GB），采用完全关联缓存和LRU替换策略，存储当前解码步骤中最近访问的KV缓存条目。L2是预取缓冲区（2-4GB），作为GPU端的缓冲区，用于存放从CXL内存传输过来的推测KV缓存条目，并实现双缓冲以将数据传输与计算重叠。L3是CXL内存池（64-256GB），位于FPGA附加内存上，按4KB页面组织以匹配CXL内存事务大小并支持高效预取。内存分配遵循需求驱动策略，新请求到达时在L3分配页面，随着token生成，最近的条目根据访问频率和近期性被提升到L1，L2则异步接收预取数据。

缓存一致性协议：系统利用CXL 2.0内置的CXL.cache和CXL.mem协议来确保GPU和FPGA内存视图之间的一致性。在读路径上，GPU读请求首先检查L1，若未命中则转发到运行在FPGA上的CXL主代理，代理检查目录并直接从CXL内存提供数据或启动一致性操作。在写路径上，当生成新KV缓存时，GPU写入L1并通过CXL.cache协议发送失效消息，FPGA目录控制器维护一致性状态并在空闲周期调度回写到CXL内存。在预取路径上，推测预取通过只读模式直接访问CXL内存，绕过一致性协议以减少开销，如果预取数据后续失效，则直接丢弃预取缓冲区中的条目。

页面迁移与放置策略：为了优化常见的访问模式，系统实现了自适应的页面迁移策略。首先是冷热分类，根据访问跟踪将页面分类为热页面（在最近$N$个token中被访问）或冷页面，热页面优先保留在L1/L2，冷页面驻留在L3。其次是层感知放置，将来自不同Transformer层的KV缓存页面放置在不同的内存区域，以实现并行访问并减少CXL内存控制器中的bank冲突。最后是批处理感知迁移，将不同请求的页面在内存中交错放置，以实现高效的突发传输并最大化CXL链路利用率。迁移策略使用基于阈值的算法：访问计数高于阈值$T_h$的页面被提升到L1，低于$T_c$的页面被降级到L3，阈值会根据内存压力和未命中率动态调整。

推测预取机制

预测模型架构：预取器使用轻量级的基于LSTM的序列模型，通过近期的生成历史来预测接下来的$k$个token。输入层将最后16个生成的token ID嵌入到64维向量中（总计1024维）。LSTM层包含2层LSTM，每层128个隐藏单元，用于捕获token序列中的时间依赖关系。输出层使用束宽为4的束搜索（beam search），生成带有置信度分数的top-$k$ token预测。整个模型仅包含128K个参数（在FP16下为512KB），使得FPGA上的快速推理时间小于$10 \mu s$。该模型在离线状态下使用代表性工作负载轨迹进行训练，在保留测试集上达到了95%的top-4准确率。

预取调度与执行：GPU在生成token $t$时，发出带有历史记录$\mathcal{H}_t = \{t_i\}_{i=t-15}^t$的预取请求。执行流水线的端到端延迟以LSTM推理为主，耗时$L_{pred} = 64$个周期。CXL控制器的未完成请求窗口$\Omega_{max} = 16$允许重叠执行，实现有效吞吐量$\Theta_{eff} = \min\left(\frac{\Omega_{max}}{L_{DMA}}, \frac{BW_{CXL}}{S_{entry}}\right) f_{clk}$，其中条目大小$S_{entry} = 4\mathrm{KB}$。对于请求率$\lambda_{req}$，当满足$\lambda_{req} \cdot k \cdot S_{entry} < BW_{CXL} \cdot H_{pred}$时系统保持稳定，其中$H_{pred} = 0.95$为预测命中率。算法逻辑如下：

Algorithm 1 Speculative KV-Cache Prefetching
1: Input: Token history Ht = {t−15, . . . , t0}, layer l, depth k
2: Output: Prefetched KV entries in L2 buffer
3: {t1, . . ., tk} ← PREDICTTOKENS(Ht) {LSTM inference}
4: for i = 1 to k do
5:     Avirt ← (reqID, l, pos + i)
6:     Aphys ← TRANSLATEADDRESS(Avirt) {ATU lookup} 
7:     if Aphys not in L1 U L2 then
8:         ISSUEDMA(Aphys, L2[i]) {Non-blocking}
9:     end if
10: end for
11: WAITCOMPLETION() {Ωmax concurrent DMAs}
12: return NOTIFYGPU(ready)

错误预测处理：当实际生成的token与预测不同时，相应的预取KV缓存条目将失效。系统采用惰性失效机制，失效的预取缓冲区条目不会立即被驱逐，而是被新的预取覆盖，或者在缓冲区满时自然驱逐。在预取未命中时，系统会回退到同步从CXL内存获取数据的路径，这会产生延迟惩罚但保证了正确性。预取器还会跟踪每个请求的预测准确率，并动态调整预测数量$k$：高准确率请求使用更大的$k$进行激进预取，低准确率请求使用较小的$k$以减少带宽浪费。

多层预取流水线：由于Transformer模型按顺序处理各层，系统跨层实现了流水线预取。当第$l$层正在处理token $t$时，预取器同时为第$l+1$层和$l+2$层加载KV缓存。这种流水线并行性进一步降低了有效延迟，公式为$T_{effective} = T_{compute} + \max(T_{prefetch} - 2 \times T_{layer}, 0)$，其中$T_{layer}$是单层计算时间。在实践中，对于大多数模型$T_{prefetch} < 2 \times T_{layer}$，从而实现了接近零的有效延迟开销。

FPGA缓存引擎设计

高层架构：该引擎包含五个通过AXI-Stream互连的模块（数据宽度$W_{data} = 512$ bits，频率$f_{clk} = 800 \mathrm{MHz}$）。（1）ATU执行虚拟到物理地址转换$\Phi: \mathcal{A}_{virt} \to \mathcal{A}_{phys}$，延迟$L_{ATU} = L_{TLB-hit} + (1 - H_{TLB}) \cdot L_{walk}$，其中TLB命中率$H_{TLB} > 0.92$，页面遍历延迟$L_{walk} = 15$个周期。（2）压缩引擎实现$\Pi_{comp}: \mathbb{R}^{N\times d} \to \mathbb{Z}^M$，带宽$BW_{comp} = W_{data} \cdot f_{clk} / 8 = 51.2 \mathrm{GB/s}$。（3）解压缩引擎执行逆映射$\Pi_{comp}^{-1}$，关键路径$L_{crit} = 25$个周期。（4）内存控制器管理$C_{HBM} = 16$个通道，在bank冲突率$\rho_{conflict} < 0.08$下总带宽$BW_{HBM} = \sum_{i=1}^{C_{HBM}} BW_i = 1.6 \mathrm{TB}/s$。（5）DMA引擎支持分散-聚集（scatter-gather），最大未完成请求$\Omega_{max} = 16$。各模块与Intel CXL IP v1.2以缓存模式接口，并实现自定义DMA队列用于缓存行级别的连贯性跟踪。压缩引擎是一个4级Verilog RTL流水线。

压缩流水线设计：采用$D_{pipe} = 20$级的全流水线架构，实现吞吐量$\Theta_{comp} = \frac{W_{data} \cdot f_{clk}}{8} \cdot II^{-1} = 51.2 \mathrm{GB}/s$（初始间隔$II = 1$）。压缩率$\mathcal{R}_c(\ell) = \frac{\mathbb{E}[|D_{orig}^\ell|]}{\mathbb{E}[|D_{comp}^\ell|]}$随层$\ell \in [1, L]$变化，其中$\mathcal{R}_c \in \{2.5, 4.0\}$，平均$\bar{\mathcal{R}}_c = \frac{1}{L} \sum_{\ell=1}^L \mathcal{R}_c(\ell) = 3.2$。在连续流下，流水线利用率$U_{pipe} = \frac{T_{busy}}{T_{total}} > 0.98$。算法逻辑如下：

Algorithm 2 KV-Cache Compression
1: Input: KV page X ∈ RN×d (FP16) 
2: Output: Compressed Dcomp = (s, DRLE(ci))
3: s ← max(|X|)/127 {Stages 5-8: Scaling} 
4: for j = 1 to N do 
5:     ci = round(X[j]/s) {Quantization}
6:     ...

解压缩流水线设计：逆变换$\Pi_{comp}^{-1}: \mathbb{Z}^M \to \mathbb{R}^{N\times d}$实现$D_{pipe} = 20$级，关键路径延迟$L_{crit} = \max_{s \in S_{pipe}} \left( L_{logic}^{(s)} + \sum_{s'=1}^{s-1} L_{ff} \right) = 25 \mathrm{cycles}$，其中$L_{ff} = 1$是触发器周期，$L_{logic}^{(s)}$是组合逻辑延迟。瓶颈在于反量化乘法器（第15-18级），包含$L_{mult} = 3$级DSP级联。吞吐量$\Theta_{decomp} = \Theta_{comp} = 51.2 \mathrm{GB}/s$保持$II = 1$。提前退出机制允许未压缩数据（约$30\%$流量，$\alpha \approx 0.3$）以$L_{bypass} = 5$个周期的延迟绕过，实现加权平均延迟$\bar{L}_{decomp} = (1 - \alpha) \cdot \bar{L}_{crit} + \alpha \cdot \bar{L}_{bypass} \approx 19$个周期。

资源利用与时序分析：FPGA资源消耗如下表1所示。布局布线后的时序分析表明，最大频率$f_{max} = 812 \mathrm{MHz}$，时序裕量$\tau_{slack} = T_{clk} - T_{crit} = 0.23 \mathrm{ns}$（时钟周期$T_{clk} = 1.23 \mathrm{ns}$，关键路径延迟$T_{crit} = 1.0 \mathrm{ns}$）。资源利用率向量$\mathbf{U} = [U_{ALM}, U_{REG}, U_{M20K}, U_{DSP}]^T$满足约束$||\mathbf{U}||_\infty < 0.35$，确保有足够余量在单块FPGA上实例化最多$N_{max} = 3$个额外引擎。设计使用了约30%的ALM逻辑，26%的DSP块，以及16%的M20K内存。
表1：Agilex-7 FPGA上的缓存引擎资源利用率（略）

多引擎扩展：为了扩展吞吐量，系统实例化了$N$个引擎实例，其物理地址分区$\{\mathcal{A}_{phys}^{(i)}\}_{i=1}^N$互不相交（$\mathcal{A}_{phys}^{(i)} \cap \mathcal{A}_{phys}^{(j)} = \emptyset$）。内存控制器实现具有动态优先级的加权轮询仲裁：$w_i(t) = \alpha \cdot Q_i(t) + (1 - \alpha) \cdot \frac{1}{\bar{L}_i(t)}$，其中$Q_i$是队列深度，$\bar{L}_i$是平均服务延迟。$N$个引擎的总吞吐量为$\Theta_{agg}(N) = \sum_{i=1}^N \Theta_i \cdot \eta_i(N) \approx N \cdot \Theta_{single} \cdot \eta_{scale}(N)$，其中单引擎效率$\eta_i(N) = 1 - \rho_{contention}(N)$随争用而下降。扩展效率受限于内存带宽，在$N^* = \lceil B_{HBM} / \Theta_{single} \rceil$处达到饱和。

系统集成与优化

内存分配器接口：分配器插件提供API操作：cxl_malloc(s, hint)分配$s$字节返回句柄$h \in \mathcal{H}$；cxl_access(h, \omega, S)访问偏移量$\omega$处的数据，如果$\mathcal{A}(h, \omega) \notin \mathrm{L1 \cup L2}$则自动预取；cxl_free(h)释放内存。该C++库通过MMIO和CXL驱动程序实现了小于$500 \mathrm{ns}$的API延迟（$T_{api} = T_{mmio} + T_{driver}$）。

软硬件协同优化：系统通过以下方式最小化开销：（1）请求批处理：以批大小$m$实现摊销延迟，加速比$\sigma_{batch}(m) = T_{MMIO} / \bar{T}_{req}(m) \approx m$；（2）基于轮询的完成通知：加速比$\sigma_{notify} = T_{intr} / T_{poll}$，避免了高昂的中断开销；（3）NUMA亲和性：确保局部性概率$\mathbb{P}[\mathrm{node}(GPU) = \mathrm{node}(CXL)] = \mathcal{L}_{numa}$，避免跨路惩罚因子$\pi_{remote} > 1$；（4）大页映射：通过$\rho_{TLB} = P_{huge} / P_{small}$减少TLB足迹，提高命中率$\Delta H_{TLB} > 0$。

动态自适应：FPGA策略引擎基于观测指标实现参数的在线优化。对于带宽节流，使用反馈控制动态调整预取激进程度：$\beta(t + \Delta t) = \beta(t) \cdot \big(1 - \kappa \cdot \mathrm{ReLU}(U_{CXL}(t) - \theta_{target})\big)$，增益$\kappa$和目标利用率$\theta_{target}$通过梯度上升学习。对于压缩选择，每层求解约束优化：$C^*(\ell, t) = \arg\max_{C \in \mathbb{C}} \mathcal{T}(C, \ell, t)$，其中$\mathcal{T} = w_r(t) \cdot \mathcal{R}_c(C, \ell) + w_q(t) \cdot Q(C, \ell) - w_c(t) \cdot \mathcal{L}_{comp}(C)$。对于预取深度，公式化为多臂老虎机问题：$k^*(t) = \arg\max_{k \in \mathcal{K}} \left\{ \mu_k(t) + \beta_{UCB} \sqrt{\frac{2\ln T}{N_k(t)}} \right\}$，使用UCB探索。

实验环境

  • 数据集与工作负载：评估使用了四种工作负载：Chatbot (ShareGPT, 128/256)、Summarization (1024-2048/128-256)、Code Generation (256-512/512-1024) 和 QA (SQuAD, 64-128/32-64)。请求到达服从泊松分布，速率$\lambda \in [5, 100] \mathrm{req}/s$。
  • 模型架构参数：评估了22种模型配置，参数范围$\mathcal{P} \in [1.8B, 72B]$，包括LLaMA-2/3 (7B-70B)、Qwen (1.8B-72B)、Mistral/Mixtral (7B-47B, MoE)、Gemma (2B-7B) 以及代码模型。模型通过SmoothQuant【47，Smoothquant: Accurate and efficient post-training quantization for large language models+2023+arXiv】使用INT8权重和FP16激活。
  • 硬件配置：8块NVIDIA A100 80GB GPU（1.6TB/s HBM，带NVLink），4块Intel Agilex-7 FPGA（每台设备64GB HBM，1.6TB/s带宽），带有CXL 2.0控制器（64GB/s，延迟$<400\mathrm{ns}$）。双路Sapphire Rapids CPU（96核，1TB DDR5）。GPU通过PCIe Gen4x16连接FPGA，FPGA连接CXL Type-3内存扩展器。
  • 软件配置：运行Ubuntu 22.04。集成vLLM和TensorRT-LLM。基线包括：GPU-Only (vLLM)、CPU Offload (FlexGen)、NVMe Offload、Compression-Only 和 CXL-NoSpec（无推测）。

实验结果

1. 整体吞吐量与延迟性能 (RQ1)
实验内容：比较不同模型和工作负载下各系统的吞吐量和延迟。
实验结果：如图1所示，CXL-SpecKV在所有工作负载下的吞吐量比GPU-Only基线高出2.1至3.2倍（平均2.4倍）。对于LLaMA-2 70B，吞吐量从487 tokens/s（批大小16）提升至1549 tokens/s（批大小64）。相比CPU卸载，性能提升3.8-5.2倍。表2显示，CXL-SpecKV的TTFT（首字延迟）仅增加4.2%，单token解码延迟仅增加8.2%。
分析结论：CXL-SpecKV通过打破GPU内存容量限制支持更大的批处理大小，显著提升了吞吐量，同时通过高效预取将延迟开销控制在极低水平。
图1 不同LLM模型和工作负载下的吞吐量比较

2. 推测预取的有效性 (RQ2)
实验内容：分析预测准确率、预取命中率及延迟隐藏能力。
实验结果：如图2所示，当预测范围$k=4$时，预取器在多数工作负载下达到94-97%的top-4准确率。表3显示LLaMA-2 70B的预取命中率高达94.7%，预取精度为87.2%。如图3所示，无推测的CXL-NoSpec内存访问时间高达8.7ms，而CXL-SpecKV将其降至2.1ms。
分析结论：轻量级LSTM预取器能高精度预测未来token，成功隐藏了约76%的CXL解耦内存访问延迟。
图2 不同工作负载下Token预测准确率与预测范围k的关系
图3 单Token延迟分解（计算时间 vs 内存访问时间）

3. 内存效率与成本分析 (RQ3)
实验内容：量化内存容量扩展和基础设施成本权衡。
实验结果：表4表明，CXL-SpecKV为LLaMA-2 70B实现了8倍的内存扩展（支持批大小128），结合压缩后可达24倍（批大小384）。如图4所示，使用低成本A100 40GB结合CXL-SpecKV FPGA，总成本为1.37倍，但吞吐量达到2.4倍，成本性能比提升了1.75倍。表5显示系统在GPU HBM、CXL链路和FPGA HBM上均实现了68-72%的均衡带宽利用率。
分析结论：CXL-SpecKV能以更低的硬件成本提供远超单机GPU的等效内存容量，展现出卓越的成本效益。
图4 吞吐量与基础设施成本的权衡

4. 扩展性分析 (RQ4)
实验内容：评估多GPU、多FPGA引擎以及批大小的扩展性。
实验结果：如图5所示，在LLaMA-2 70B上，系统在扩展至4个GPU时实现近乎线性扩展（95%效率），在8个GPU时保持87%的并行效率。表6显示FPGA缓存引擎扩展至4个实例时吞吐量达到1487 GB/s。如图6所示，CXL-SpecKV的吞吐量在批大小64-96时达到峰值。
分析结论：系统具备良好的横向和纵向扩展能力，能够有效支持大规模集群部署。
图5 多GPU吞吐量扩展性
图6 吞吐量和延迟与批处理大小的关系

补充细节（消融实验）

预取激进性分析：评估了预测范围$k$对性能的影响。结果表明，$k=1$时精度高（96.1%）但吞吐量低；$k=16$时命中率高（96.4%）但精度大幅下降至68.7%导致带宽浪费。$k=4$提供了最佳平衡，命中率为94.7%，吞吐量达到1549 tok/s。

压缩算法组件分析：评估了各压缩技术的贡献。仅使用INT8实现了2.00倍压缩；引入增量编码（Delta）显著增加了36%的压缩率，困惑度（Perplexity）仅增加0.3%；再引入RLE又增加了18%的压缩率。完整流水线实现了3.21倍的压缩率，困惑度仅微降1.2%，实现了极佳的权衡。

结论

本文提出的CXL-SpecKV通过结合CXL内存解耦、FPGA加速和推测预取，成功克服了限制LLM服务吞吐量和成本效益的内存墙问题。系统实现了3.2倍的吞吐量提升、8倍的内存容量扩展、2.3倍的成本性能比提升以及1.90倍的能效提升，且延迟开销仅为8.2%。这证明了针对AI工作负载优化的解耦架构不仅能媲美单体设计，还能提供卓越的灵活性。未来的研究方向包括：注意力机制中的动态激活稀疏性、多租户QoS管理、针对32K-128K上下文的层次预测适应、利用CXL 3.0的128GB/s带宽、异构内存层级支持，以及替代互连技术（如NVLink-C2C）的对比分析。