发表时间: 2026-11 · arXiv:2611.02501 (UC Berkeley, Princeton, Stanford, NVIDIA)
原文: https://arxiv.org/abs/2611.02501
作者/机构:Kunjun Li$^{1,*}$, Wenhao Chai$^{2,*}$, Yihao Liang$^{2,*}$, Yuezhou Hu$^1$, Shuyao Xu$^3$, Yi Pan$^1$, William X. Zheng$^1$, Kannan Ramchandran$^1$, Kurt Keutzer$^1$ and Jiantao Jiao$^{1,4}$
$^1$University of California, Berkeley, $^2$Princeton University, $^3$Stanford University, $^4$NVIDIA
$^*$同等贡献。
一句话结论 本文提出了一个名为 SpecPilot 的自主智能体循环框架,通过成本模型引导发现并优化了投机解码的算法与系统设计,在无损且不需训练的情况下,将单请求和批处理场景下的解码加速比分别最高提升至 10.87 倍和 3.93 倍。
要解决什么问题 投机解码(Speculative decoding,一种用轻量级草稿模型快速生成多个候选 token,再由目标模型在一次前向传递中并行验证以加速推理的技术)在实际部署中未能充分发挥并行草稿模型的加速潜力,主要卡在三个机制上。第一,在单请求场景下,每次验证步骤虽然接受的 token 很少,但必须读取目标模型的全部权重,导致读取权重的时间绝对主导了单步延迟,此时验证更多 token 几乎不增加额外时间,而现有系统只验证一条草稿链,白白浪费了草稿模型提供的其他高概率候选。第二,在批处理场景下,每个请求都会增加自身的注意力、循环状态和预填充计算量,权重读取不再是单步时间的绝对瓶颈,导致投机解码相对于自回归解码的加速比大幅缩水,通常会减半。第三,投机解码的最佳优化策略高度依赖于具体的部署环境,包括服务模式、草稿模型、目标模型和 GPU 硬件,不存在一种放之四海而皆准的优化方案。例如,用低精度目标模型副本预检草稿在单请求下能加速,但在批处理下反而会因为额外的检查时间拖慢整体速度。人工逐一为每个部署环境进行底层优化是无法扩展的。
怎么做的 核心思路是构建一个名为 SpecPilot 的自主智能体循环,针对每个特定部署环境自动搜索并验证投机解码的优化方案。它能绕开上述卡点,是因为它用成本模型精准定位性能瓶颈,通过多智能体并行探索将微小收益累积,并用严格的校验机制确保优化不掉精度。关键设计由四个部件构成。首先是成本模型,它通过比较当前系统的实际性能与理论上限来定位速度流失的环节,其理论上限的加速比分解公式为
$$ \frac { \tau _ { \mathrm { b e s t } } } { \tau } \cdot \frac { T _ { \mathrm { p r o f } } } { T _ { \mathrm { f l o o r } } } \cdot \frac { T _ { \mathrm { s t e p } } } { T _ { \mathrm { p r o f } } } $$其中 $\tau$ 是每步接受的 token 数,$T$ 是各环节的时间,这三个乘积项分别衡量了更优草稿树、底层算子优化和系统开销带来的潜在收益。其次是并行智能体,主智能体在不同 GPU 上并行探索多个优化方向,子智能体负责实现代码,集成智能体将有效的补丁叠加。第三是强制 token 校验,为了防止智能体发生奖励作弊(即为了追求速度而采用改变模型输出的数值捷径),该机制将系统的每个输出 token 与基线系统的输出进行统计学比对,一旦不匹配率超过阈值或出现无法解释的大幅度对数概率偏差,就直接拒绝该方案,从而保证优化的绝对无损。最后是结构化记忆,将验证成功的机制提炼为可复用的代码和证据,带入后续轮次和新部署中。通过这个循环,SpecPilot 发现了一系列无损算法:用于减少单请求权重读取时间的 12 位无损权重格式 W12,用于混合循环目标模型的最佳优先树验证,通过低精度预检几乎让每次精确传递接受的 token 数翻倍的双层验证,以及在批处理中共享节点预算等三种机制。
效果如何 实验在 H100 和 RTX PRO 6000 两款 GPU 平台上搭建,评估了 Qwen3.8-27B、Qwen3.5-4B、Gemma-4-12B 和 Muse-Glimmer-30B 四个目标模型,使用了并行草稿模型 DFlash2 和 DSpark 以及顺序草稿模型 EAGLE-3,测试数据涵盖 GSM8K、HumanEval 等五个基准测试。对比基线包括针对各硬件和模式专门调优的官方开源实现 stock(代表基础的并行或顺序投机解码路线),以及在单请求下更强的 DDTree(代表基于路径概率构建草稿树的路线)。量化结果显示,在单请求设置下,SpecPilot 在 RTX PRO 6000 上将 Qwen3.8-27B 的自回归加速比从 stock 基线的 4.46 倍提升至 10.87 倍,在 H100 上也比 DDTree 快 1.84 倍;在批处理设置下(如 FP8 精度的 Qwen3.8-27B,16 至 24 个请求),将加速比从 1.94 倍提升至 3.93 倍。作者也指出了方法的局限和失效场景:优化机制高度依赖场景,例如在单请求中极为有效的宽树、W12 和双层验证,在批处理场景下由于验证工作量的累积反而会带来性能损失,其中双层验证在批处理下会慢 13%,且某些机制的收益受限于硬件特性,例如 RTX PRO 6000 缺乏 wgmma 指令导致部分内核需要重新移植。
投机解码(Speculative decoding)通过一个轻量级的起草器(drafter)来加速受内存限制的大语言模型(LLM)解码过程,而并行的起草器通过在一次前向传播中起草整个块(block)来进一步扩展这种加速效果。然而,目前尚不清楚它们发布的系统(下文称为stock系统)是否完全达到了并行起草所允许的最大加速比。
本文指出了阻碍最大化加速比的三个核心挑战:
为了应对这些挑战,本文提出了SpecPilot,这是一个自主的智能体循环系统(autonomous agentic loop),旨在为每种部署环境自动发现算法和系统优化方案。
通过该系统,SpecPilot自主发现了一系列无损优化技术:通用的无损12位权重格式(W12)、针对混合循环目标模型的树验证(tree verification)、两级验证(two-level verification)以及三种批处理机制。本文在4个目标模型、3个起草器、2个GPU平台和5个基准测试上对其进行了评估。在无需训练且没有质量损失的情况下,SpecPilot将单请求下相对于自回归(AR)的加速比从stock系统的 $4.46\times$ 提升至 $10.87\times$;在批处理场景下,将加速比从 $1.94\times$ 提升至 $3.93\times$。
投机解码原理。在投机解码【1,Fast inference from transformers via speculative decoding + 2023 + ICML】【2,Accelerating large language model decoding with speculative sampling + 2023 + arXiv】中,起草器在给定前缀 $x_{<t}$ 的情况下提出 $m$ 个token $\hat{x}_{1..m}$,目标模型在一次前向传播中验证它们,每个token对应一行。贪婪解码接受最长的匹配前缀,满足 $\hat{x}_i = \arg\max p(\cdot \mid x_{<t}, \hat{x}_{<i})$,并将目标模型的argmax作为一个奖励token添加进去,最终一步接受 $\tau \in [1, m+1]$ 个token。</p>
无损性的定义与测试难点。如果一个系统中每一个被接受的token都位于通过精确目标权重遍历(exact pass)验证的路径上,并且等于该遍历的argmax,那么这个系统就是无损的(Lossless)。此时,它的输出就是目标模型的贪婪解码结果,最多只存在浮点规约顺序(如GEMM分块或树注意力)带来的差异,这种差异仅在logit接近平局(near-tie)时才会改变token。实际上,现有的stock系统在这一点上已经与AR解码不同。在每次首次分歧时,两个token的对数概率差异最多为0.232 nats。相比之下,低精度的验证遍历即使在远离平局的情况下也会改变token。这使得无损性很难测试。要求输出完全一致会拒绝掉其实是无损的系统,而仅仅依赖任务准确率又会漏掉那些有缺陷的系统。因此,本文采用Token强制机制来在统计上将每个token与stock系统进行比对。
并行起草器与草稿树。DFlash2【5,DFlash 2: Keep drafting parallel + 2026】和DFlash【4,DFlash: Block diffusion for flash speculative decoding + 2026 + ICML】一样,通过目标隐藏状态在一次遍历中起草一个包含掩码位置的块。一个低秩选择器在前一个位置给定的情况下,为每个位置的top-16候选节点打分,候选节点和分数构成网格(lattice)。DSpark【6,DSpark: Confidence-scheduled speculative decoding with semi-autoregressive generation + 2026 + arXiv】在前一个token上增加了一个马尔可夫头:$\ell_s(y) = \mathsf{base}_s(y) + \big\langle W_1[x_{s-1}], W_2[y] \big\rangle$,其中 $\mathsf{base}_s$ 表示主干的logits,stock DSpark使用它来起草一条贪婪链。草稿树包含目标模型在一次遍历中验证的延续路径,每个节点只看到其祖先节点,该步骤接受匹配目标argmax的最长根路径加上一个奖励token【7,SpecInfer: Accelerating large language model serving with tree-based speculative inference and verification + 2024 + ASPLOS】。DDTree【10,Accelerating speculative decoding with block diffusion draft trees + 2026 + arXiv】按路径对数概率添加节点直到达到 $N_*$,因此这种排序的每个前缀都是一个最佳优先树(best-first tree,即前缀闭合的)。
混合目标模型架构。本文的主要目标模型Qwen3.8-27B【14,Qwen3.8-27B + 2026】在64层中的48层使用了Gated DeltaNet (GDN)【21,Gated delta networks: Improving Mamba2 with delta rule + 2025 + ICLR】,在其他层使用注意力机制。一个GDN头通过门控增量规则为每个token $t$ 更新一个固定大小的状态 $h$:$h_t = \alpha_t \big( I - \beta_t k_t k_t^\top \big) h_{t-1} + \beta_t k_t v_t^\top, \qquad o_t = h_t^\top q_t$,其中包含衰减门 $\alpha_t$、写入强度 $\beta_t$,以及键、值和查询 $k_t, v_t, q_t$。Stock系统的验证在每个验证位置对 $h$ 进行快照,因此树形结构需要为每个节点保存一个快照。
SpecPilot运行机制概述。SpecPilot以轮次(rounds)为单位运行。每一轮首先测量当前系统在哪里损失了速度(阶段0),然后让智能体构建并计时更改(阶段1-3),最后在未见过的请求上以密封的最终系统结束(阶段4)。每一轮都从上一轮的最终系统开始,而一个新的部署则从stock系统加上内存条目开始,因此该循环是递归的。
代价模型定义。阶段0通过代价模型定位速度损失,该模型将相对于自回归(AR)解码的加速比表示为 $S(N) = \frac{\tau(N)}{c(N)}, \qquad c(N) = \frac{T_{\mathrm{step}}(N)}{T_{\mathrm{AR}}}$,其中 $\tau(N)$ 是验证 $N$ 行(单请求时每节点一行)后一步接受的token数量,$T_{\mathrm{step}}(N)$ 是包含起草的步骤时间,$T_{\mathrm{AR}}$ 是同一引擎上的单次AR步骤时间。除非另有说明,本文中的单请求数据均使用DFlash2和Qwen3.8-27B在H100 GPU上测得。
未使用的候选节点 $\rho(\tau)$ 分析。现有发布系统(stock)接受的token数量远少于其起草器候选节点所允许的数量。在精确重放(exact replay)中(即在记录的起草器网格和目标输出上离线重新运行树选择和验证),stock DFlash2的8位置链每步接受 $\tau = 4.25$ 个token(在基准测试请求上实时为4.65)。如果一个预言机(oracle)在目标贪婪token保持在起草器top-16时持续接受它,那么在8个位置上将接受6.42个token,在16个位置上将接受8.20个token。
权重流(单请求场景下的 $c$)影响。在单请求场景下,读取目标模型的权重主导了整个步骤的时间,因此额外的验证行几乎是免费的。在第一轮优化之前,GEMM时间仅从1行的17.88毫秒增长到64行的18.58毫秒。在第一轮之后,读取目标权重(线性层和LM头)占据了测量的23.61毫秒步骤时间的80%。即使在H100峰值的3.35 TB/s下,读取它们也将占用读取该步骤所有字节所需时间的92%。
每行成本(批处理场景)影响。每个批处理请求都会增加循环状态和注意力成本,且GEMM时间在每个分块边界处跳跃式增加。每个新提示词的预填充(prefill)会再次流式传输权重。Stock DFlash2在FP8下的加速比从单请求的 $3.40\times$ 降至24个请求时的 $1.89\times$,在Qwen3.5-4B上从 $3.73\times$ 降至32个请求时的 $1.49\times$。
性能上限(Ceilings)计算。为了对这些效应进行排序,代价模型计算了一轮开始时系统的理论上限。上限是指:如果一个步骤起草一次,在一次精确遍历中验证最佳树,并且在每个内核类(目标GEMM、循环层、注意力、起草器、预填充等)的字节下限(byte floor)运行,该系统所能达到的相对于当前系统的加速比。字节下限定义为:在60%峰值密集吞吐量下的FLOP时间和在90%峰值带宽下的字节时间两者中的较大值。上限分解为:$\frac{\tau_{\mathrm{best}}}{\tau} \cdot \frac{T_{\mathrm{prof}}}{T_{\mathrm{floor}}} \cdot \frac{T_{\mathrm{step}}}{T_{\mathrm{prof}}}$。其中 $\tau$ 和 $T_{\mathrm{step}}$ 是在起始系统上测量的,$\tau_{\mathrm{best}}$ 是在最佳节点预算下精确重放中最佳优先树的 $\tau$。$\tau$ 因子测量了更好的树将多接受多少个token。内核因子比较了分析的步骤时间 $T_{\mathrm{prof}}$ 与其字节下限之和 $T_{\mathrm{floor}}$,用于衡量缓慢的内核。开销因子比较了 $T_{\mathrm{step}}$ 和 $T_{\mathrm{prof}}$,用于衡量分析之外的时间。
上限在优化中的实际运用。每一轮的阶段0从记录的网格和性能分析中重新计算这些因子,最大的因子即标识了性能差距所在。
系统架构与角色分离。SpecPilot将修改系统的智能体与测量系统的控制器分离开来。主智能体(master agent)规划优化方向,每个GPU负责一个想法,每个方向都有一个估计的提升空间(headroom)。子智能体(sub-agent)将每个方向实现为补丁(patches),这些代码更改隐藏在选项之后,默认选项则重现stock系统。补丁必须在智能体可见的开发请求上通过正确性检查和Token强制。控制器是智能体调用但无法修改的脚本,它在配对运行中将补丁与当前最佳系统进行计时对比(两个系统在两个GPU上服务相同的请求,并在运行间交换GPU)。只有当补丁收益的95%下界超过1%加上两倍的stock对stock噪声(在H100单请求下$<0.1\%$),或者如果其输出与当前最佳系统有分歧时收益超过约3%,控制器才会推广该补丁。
阶段1:探索(Exploration)。主智能体从阶段0的代价模型出发,提出针对最大因子的方向。单个方向可能会因为想法不奏效而停滞,因此主智能体同时探索最有希望的几个方向。子智能体首先用最廉价的证据(如精确重放、微基准测试或单GPU计时运行)检查提升空间。只有当扣除运行时开销后的提升空间至少为3%时,它才会构建新算法。除非测量实现的机制需要超过10个GPU分钟,否则它只有在测量后才会关闭一个方向。
阶段2-3:整合与内核调优(Integration and kernel tuning)。许多补丁单独带来的收益太小无法推广,但组合起来足够大。整合子智能体将它们堆叠在当前最佳系统上,并在相同规则下对堆叠系统进行计时。内核子智能体对其进行性能分析,并对距离字节下限最远的内核进行调优。
阶段4:密封最终测试(Sealed final)。每一轮以密封最终测试结束,该测试在未见过的请求上将系统与stock系统进行计时对比,并在其输出以及长达4096个token的较长输出上重新运行Token强制。未能通过任一检查的最终系统将被拒绝。
一个优化实例展示。在第二轮中,步骤成本主导了性能损失,因此主智能体开启了一个减少权重字节的方向(W12)。字节算术估计其提升空间占15.30毫秒权重读取时间的25%,而微基准测试关闭了一个更密集的11位变体(其解码速度慢了 $3\times$)。第一个补丁在配对运行中以 $1.076\times$ 的收益被推广,修订后的内核带来了 $1.063\times$ 的收益。随后,DSpark、RTX PRO 6000和Muse-Glimmer部署直接从内存中复用了W12。
校验机制设计。无损性是通过构造保证的,Token强制测试实现是否存在针对stock系统的错误和奖励作弊。一个教师强制的打分器将系统的输出通过带有FP32 LM头的stock引擎反馈回目标模型。如果一个token不同于打分器的argmax,则该token为不匹配(mismatch),其边距(margin)是与该argmax的对数概率差距。Stock系统在0.72%的token上出现不匹配,几乎全是内核舍入导致的接近平局(near-ties)。阶段0通过将stock首次偏离AR时的最大边距向上舍入到1/8的倍数,来设定接近平局的阈值 $\delta$。
拒绝系统的双重规则。系统在以下两条规则之一下会被拒绝。比率规则(rate rule):如果其不匹配率在95%置信度下超过stock系统0.5个百分点,则拒绝。事件规则(event rule):如果二项式检验发现其无法解释的“大幅度事件”(large-margin events,即边距超过 $2\delta$ 的不匹配)比stock系统更频繁,则拒绝。如果stock系统在其自身路径或边距上重现了该事件,或者打分器的argmax随预填充长度而改变,则审计(audit)可以解释该事件。
内存条目的生成与复用。内存允许新部署的第一轮从stock系统加上主智能体选择的已验证条目开始。在密封最终测试之后,每个被推广的机制变成一个内存条目,其中包含相对于其所需条目的代码增量、其变体、正确性契约和选项的注册记录,以及其证据、限制和未测试机制的摘要。只有当将条目及其要求应用到stock系统时能完全重现其源系统的代码,该条目才会被保留。被复用的条目在新部署中会被重新调优和重新计时,并且永远不会被计为新的发现。目前内存中保存了140个条目,每个条目最多有12个要求,涵盖了所有的设置。
W12格式设计与压缩原理。W12通过减少每个权重读取的字节数,同时保持每一位精确,从而降低了相对于AR解码的步骤成本。输出通道中的大多数BF16权重仅跨越几个binades(2的幂)。对于每个通道 $n$,W12选择覆盖最多权重的16个binade的窗口 $[E_n - 15, E_n]$。每个具有窗口内指数 $e$ 的权重被存储为其符号位、4位指数偏移 $e - (E_n - 15)$ 以及它的7个尾数位,总共12位。窗口外的权重、零和非规范数成为转义值(escapes),一个稀疏的每通道列表可以完全恢复它们。W12在八个密集模型上平均每个权重仅占用12.01–12.02位,并将Qwen3.8-27B的转换层从44.67 GB缩小到33.58 GB。在加载时,服务器会逐位检查每个解码张量与检查点的一致性。
GEMM内核优化与确定性计算。GEMM内核在寄存器中解码W12,因此内存流隐藏了解码过程。每个12 KB的记录覆盖一个 $128 \times 64$ 的权重块。它包含8位视图(每个权重一个字节,包含符号、前三位尾数和指数偏移,即平面A和E),然后是低尾数位(平面B)。一个stream-K内核以固定顺序将规约循环拆分到线程块上,确保GEMM是确定性的。
认证LM头(Certified LM head)设计。在H100上,W12将LM头保留为BF16格式。一个带有每行Cauchy–Schwarz误差界的INT8副本会丢弃每一个被证明不可能是argmax的token,幸存下来的token会被精确重新打分。当幸存者过多时,则运行完整的LM头。因此,argmax永远不会改变。这将LM头延迟从878微秒减少到482微秒,优于W12。在RTX PRO 6000上,认证头比BF16慢(2598 vs. 1750微秒),因此W12在该平台上直接转换了LM头。
最佳优先树的构建。第一轮在DFlash2网格上构建了最佳优先树,通过给定父节点的选择器分数的对数softmax来对每条边进行打分,而不是像DDTree【10】那样使用边缘分数。起草器运行16个位置(是其训练块大小的两倍),该树验证深度达15的 $N=32$ 个节点,这比起草的位置还要多(即宽树)。
无快照的循环状态重计算。SpecPilot沿着每条根路径重新计算循环状态,而不是为每个节点存储它。一个路径验证内核(path verify kernel)从已提交的状态遍历每条路径,而一个提交内核(commit kernel)将接受的路径重放到所有48个GDN层中,在链上逐位匹配stock内核。更快的WY验证内核(遵循TreeWY【22,TreeWY: Speculative verification for gated DeltaNet hybrids + 2026 + arXiv】的设计)将公式(2)中的秩-1更新链转化为矩阵乘积,在张量核心上一次性求解所有路径。它将FP32状态拆分为三个BF16部分,精确表示所有24位有效数字,在FP32中累加张量核心乘积,并保持在路径内核输出的1个BF16 ulp之内。这两个内核仅改变了舍入方式,因此精确遍历仍然是精确的。
适配DSpark网格。DSpark的马尔可夫头对相邻token对的打分类似于DFlash2选择器,因此最佳优先构建器在DSpark网格上原样运行,通过公式(1)对其子节点打分,并将其父节点视为 $x_{s-1}$。
两级验证的工作流程。每个TLV周期有两个遍历过程。一个 $Q$ 遍历(Q pass)在W12的8位视图上检查草稿树,并返回匹配其argmax加上一个奖励token的路径作为链C,在此过程中不更新KV缓存或循环状态。起草器从链C的末尾再次起草,其最佳优先子树(截断为 $N - |C|$ 个节点)附加在C下方。一次针对W12权重的精确遍历(exact pass)验证组合后的32节点树,并接受最长匹配路径。TLV是无损的,因为只有精确遍历才会接受token。在TLV下,$\tau$ 表示每次精确遍历接受的token数,$T_{\mathrm{step}}$ 是双遍历周期的总时间,包括两次起草步骤。
零拷贝的Q遍历实现。TLV不需要维护一个单独的低精度目标模型,因为它读取的是已经嵌套在W12中的8位视图。该视图是每个W12记录的前三分之二。将丢弃的尾数位设置为其中点后,Q遍历在98.7%的位置上匹配精确遍历的top-1 token,而精确遍历则读取完整的记录。
每一个批处理的行都会消耗时间。以下三种机制仅选择要起草和验证的行,因此它们是无损的。
共享节点预算(Shared node budget)。每一步验证一个在请求间共享的固定节点预算,按路径对数概率选取顶级节点。由于最佳优先树是前缀闭合的,每个请求分配到的份额都是一棵有效的树。在FP8目标模型(FP8的Qwen3.8-27B)处理24个请求时,192节点的预算处于目标GEMM成本的平台期,直到下一个分块前都保持平坦。
每请求起草器块(Per-request drafter block)。每个请求起草16、12或8个位置,这些值根据GPU上其近期的接受率和起草置信度动态选择,其树深度也相应受到限制。这使得FP8目标模型的起草器在17到24个请求时保持在256行以内,即起草器GEMM平台期的末尾。
提示词准入机制(Prompt admission)。新提示词的行进入验证步骤,因此一个权重流可以同时服务两者。在FP8目标模型上,长达384个token的提示词作为提示词行链进入,但仅当调度器原本会将其拦截时才放入。两个FP8最终系统都以这种方式接纳提示词。对于批处理的BF16 Qwen3.8-27B,提示词以128行段进入,共享验证步骤的投影和MLP GEMM。
硬件与智能体配置。每个SGLang【23,SGLang: Efficient execution of structured language model programs + 2024 + NeurIPS】服务器使用一个H100 SXM5或RTX PRO 6000 Blackwell Server Edition(sm_120,实测带宽1.51 TB/s),运行在冻结的v0.5.20版本上,与发布版本token一致。智能体选用Claude Code【15,Claude Code + 2025】中的Claude Opus 5.5。
模型与请求设置。在单请求场景下,所有目标模型均以BF16运行:在两款GPU上使用DFlash2的Qwen3.8-27B【14】,在H100上使用DSpark的Qwen3.8-27B,以及在RTX PRO 6000上使用DFlash2的Muse-Glimmer-30B【24,Muse Glimmer: An open model built for always-on local agents + 2026】。在H100的批处理场景下,Qwen3.8-27B与FP8的DFlash2或DSpark配合运行,并在GPU内存允许的情况下,以BF16格式的DFlash2处理6、8和10个请求。Qwen3.5-4B【25,Qwen3.5-4B + 2026】使用DFlash2,Gemma-4-12B【26,Gemma 4 technical report + 2026 + arXiv】使用EAGLE-3,两者均在BF16下运行。请求来自GSM8K【27】、HumanEval【28】、MATH500【29, 30】、MBPP【31】和MT-Bench【32】。解码采用贪婪模式并启用thinking,批处理客户端在固定数量请求(即批大小)下闭环运行。
基线与指标说明。收益是指每个基准测试和批大小下,每个请求的输出率比值的几何平均数,再通过等权重几何平均组合得出。每一次相对于stock系统的收益都来自密封最终测试的两次配对运行。每一个最终系统都通过了Token强制测试。相对于AR的加速比来自AR、stock和SpecPilot在开发请求上的交错运行,误差在密封收益的-2%到+6%之间。为保持公平,stock系统针对每个GPU和机制进行了调优,使用预训练的起草器和最快的上游SGLang选项。
单请求核心结果。在单请求场景下,SpecPilot在所有设置中的速度均达到stock系统的两倍以上,其中在RTX PRO 6000上的Qwen3.8-27B提升最大。相对于AR解码,它在H100上达到了 $8.86 - 9.41\times$,在RTX PRO 6000上达到了 $10.63 - 10.87\times$。在H100上,它也比DDTree基线快 $1.84\times$。
批处理核心结果。在FP8 Qwen3.8-27B的批处理场景下,SpecPilot在所有批大小下均击败了stock系统,整体使用DFlash2快了 $1.85\times$,使用DSpark快了 $1.94\times$,将相对于AR的加速比从大约 $2\times$ 提高到了 $3.90\times$ 和 $3.93\times$。在BF16下,它快了 $1.71\times$,相对于AR达到了 $5.67\times$(stock系统为 $3.20\times$)。stock系统表现较弱的目标模型收益更大,在Qwen3.5-4B上达到 $2.39\times$,在Gemma-4-12B上达到 $3.11\times$(在这些模型上stock落后于AR)。
通过内存实现的泛化能力。内存机制在不同的起草器、目标模型和GPU平台间泛化,甚至适用于顺序起草器EAGLE-3。在每个新部署中,智能体复用了验证过的机制并调整以适应新环境。
三轮优化路径解析。系统在三轮内从stock的184 tokens/s 提升至416 tokens/s,每一轮都面临不同的瓶颈。代价模型每轮重新测量上限,主智能体将并行搜索重定向到限制速度最大的因子上。
单智能体基线对比。将SpecPilot与缺乏代价模型的单智能体循环进行比较。经过三轮后,该基线仅达到了相对于stock的 $1.34\times$,而SpecPilot为 $2.13\times$。没有上限来对差距进行排序,它专注于最明显的差距(每步的token数),添加了24节点最佳优先树、更长的起草器块和更廉价的起草器权重。它从未解决目标权重读取问题,尽管它们占了步骤的80%。
故障注入实验分析。Token强制能够区分错误系统和无损系统,但任务准确率做不到。无损的Qwen3.8-27B和4B系统以及两个错误系统(在2048个token之后对每第7个词汇ID添加2的logit偏差)运行了密封最终测试。在Qwen3.8-27B上,无损系统的准确率变化了 $-0.3$ 个点 $[-1.6, +0.7]$,而错误系统变化了 $-1.6 [-3.6, +0.3]$,区间重叠。Token强制接受了两个无损系统(其不匹配率 $0.73\%$ 和 $0.52\%$ 与stock的 $0.72\%$ 和 $0.53\%$ 匹配),并拒绝了两个错误系统(在 $2.0\%$ 和 $2.4\%$),其审计的200个大幅度事件中有192和191个无法解释。
W12的通用加速效果。W12是一种在投机解码之外也有用的无损权重格式。我们编码的来自六个系列的每个密集模型都压缩至每个权重约12位,在未改变任何输出的情况下减少了四分之一的字节。其GEMM加速了任何受权重字节限制的矩阵乘积,包括AR解码的单行以及验证遍历的少数几行。
精确重放验证树性能。精确重放(Exact replay)在记录的网格上重新运行树选择和验证,从而将树结构与计时噪声隔离开来。在8位置网格上,最佳优先树在32节点时将 $\tau$ 从4.25(stock链)提升至5.38。起草16个位置使曲线在32节点时提升至5.85,在63节点时提升至6.25。在16个节点时,最佳优先树匹配了EAGLE-2风格的top-4树(5.03 vs. 5.02),并击败了Sequoia树(4.71)。
单请求与批处理的机制差异。每次精确遍历消耗更多验证工作的机制有助于单请求(权重流隐藏了该工作),但会在批处理中损害性能(工作量累加)。宽树、W12和TLV在所有三个Qwen3.8-27B部署的单请求中都获得了收益。但在批处理下,24节点树在FP8目标上损失了 $14.9\%$,在BF16 Qwen3.8-27B上24位置块损失了 $9.9\%$,TLV损失了 $13\%$。TLV的Q遍历仅减少了注意力和循环层投影中的字节。
选择性地挑选验证行的机制在批处理中获得收益。在DSpark中,共享的节点预算比同等大小的每请求树多接受了 $6 - 14\%$ 的token,每请求起草器块带来了 $1.040\times$ 的收益。
系统智能体与投机机制发展。LLM程序搜索通过自动评估器改进代码(如FunSearch【33】、AlphaEvolve【17】和ADRS【18】)。在起草器和树方面,Medusa【38】、EAGLE【3, 9, 39】等改变了起草方式;Sequoia【8】、EAGLE-2【9】、DDTree【10】等塑造了树结构。我们的最佳优先树在给定父节点的情况下为每条边打分,这与DDTree不同。在分层投机方面,Staged speculative decoding【47】等在起草器和目标之间放置中间模型。TLV与之不同,它使用低精度目标作为中间验证器。在无损权重压缩方面,ZipNN【52】和DFloat11【53】对权重进行熵编码但在GEMM之前解码。W12为每个权重提供固定的12位记录,GEMM在寄存器中解码,据我们所知,这是第一个其GEMM在H100上从1到32行击败cuBLAS的无损格式。
本文介绍了SpecPilot,这是一个用于无损投机解码中算法发现和系统优化的自主智能体循环系统。通过基于性能上限引导(ceiling-guided)的发现过程,SpecPilot能够自适应复杂服务机制中不同的性能瓶颈。本文在四个目标模型、三个起草器、两个GPU平台和五个基准测试上评估了SpecPilot。在无需额外训练或损失生成质量的前提下,SpecPilot将单请求下相对于自回归(AR)的加速比从stock系统的 $4.46\times$ 显著提升至 $10.87\times$,并在批处理场景下将加速比从 $1.94\times$ 提升至 $3.93\times$。
全面超越基线表现。每个密封的最终系统在每个基准测试和每个批大小下都击败了stock系统。在单请求下,H100上DFlash2在MT-Bench的收益为 $2.08\times$,而RTX PRO 6000上DFlash2在MATH500的收益达到 $2.55\times$。在批处理下,Gemma-4-12B上的收益随着批大小的增加而增长,从16个请求的 $2.80\times$ 增加到48个请求的 $3.43\times$。
AR加速比与接受Token数对比。随着批大小的增长,相对于AR的加速比保持在较高水平。在FP8 Qwen3.8-27B上,SpecPilot在16个请求时比AR快 $4.16\times$,在24个请求时快 $3.72\times$,而stock系统分别为 $2.20\times$ 和 $1.89\times$。在BF16 Qwen3.8-27B上,6个请求时达到 $5.94\times$。在批处理下,SpecPilot每步接受的token数也多于stock系统,FP8目标上为5.2–5.6对4.5–4.6。
推广路径与上限演变。图8背后的十五次推广中,内核和字节优化工作构成了链的大部分。开启每一轮的上限与分析中描述的转移相符。使用预言机的 $\tau$ 和全峰值速率计算,在第一轮之前,$2.57\times$ 的上限分裂为 $1.83\times$ 的 $\tau$ 因子、$1.01\times$ 的开销因子和 $1.39\times$ 的内核因子。在第二轮之前,$1.95\times$ 的上限分裂为 $1.34\times$ 的 $\tau$ 因子和 $1.45\times$ 的步骤成本因子,因此步骤成本占据了主导。
TLV周期耗时拆解。最终H100系统的一个TLV周期大约需要30毫秒。其两次起草各需1.05毫秒,在W12的8位视图上的Q遍历耗时11.5毫秒,精确遍历耗时14.9毫秒,它们之间的胶水代码约1.6毫秒。作为交换,每次精确遍历接受11.67个token,而单级步骤仅接受6.16个。
Q遍历视图的选择与收益。Q遍历可以读取嵌套在W12记录中的8位视图(不消耗额外内存),或者读取一个单独的低精度副本。每个视图在约98%的位置上与精确遍历一致,并且在推广时都提高了速度。在RTX PRO 6000上,带有分离KV注意力的TLV在配对运行中获得了 $1.147\times$ 的收益。
优化轮次的资源消耗。一轮优化需要7–20个小时的挂钟时间(wall-clock hours)和20–86个GPU小时。完成的十三轮总共耗时164小时和530 GPU小时,创建了486次代码更改并推广了其中的54次。
密集模型编码效率。W12以12.013–12.020位每权重对我们尝试的六个模型系列中的每个密集检查点进行编码。只有不到 $1.3 \times 10^{-4}$ 的权重落在其通道的16-binade窗口之外,因此转义列表保持很小。
AR解码与内存释放。在AR解码中,随着批大小的增长,W12保持了其收益,从单请求的 $1.19 - 1.28\times$ 到32个请求的 $1.13 - 1.20\times$。释放出的内存流向了KV缓存,使KV池在Qwen3.8-27B上增长了 $2.03\times$。W12并不绑定于单一服务引擎。在带有静态缓存和CUDA图的Hugging Face Transformers中,它在单请求下使Llama-3.1-8B解码速度提高了 $1.12\times$。
GEMM性能对比。W12 GEMM在1到32行的每个Qwen3.8-27B投影上都击败了cuBLAS。最大的矩阵LM头收益最大,达到 $1.35 - 1.47\times$。在RTX PRO 6000(缺乏wgmma)上,W12 GEMM运行在mma.sync上,并在所有13个投影形状上击败了cuBLAS,在32行以内快了 $1.18 - 1.68\times$。它的时间在行数上保持平坦,而cuBLAS从8行开始减速。
被否决方向的实证依据。智能体在测量界限后关闭了大部分方向。内核方向失败是因为W12 GEMM受限于解码和SM发射率。宽于32个节点的树所花费的成本超过了网格带来的回报:在W12系统上,32以上每个节点每步花费约0.17毫秒,而价值仅约0.063毫秒。对于嵌套的Q视图,每去除八分之一的字节会损失约0.01的top-1一致性,这消耗了节省时间所能买回成本的两倍。