发表时间: 2026-11 · Blog post by Yuxuan Zhang, Hao Zhang et al. (haoailab.com)
原文: https://haoailab.com/blogs/verifiable-llm-infra/
作者/机构:Yuxuan Zhang, Minshen Zhang, Junda Su, Yi Sun, Junda Chen, Hao Zhang
一句话结论 本文提出了防止代码智能体在编写形式化证明时作弊的五阶段验证工作流 vstack,并基于此构建了带有严格数学证明的预填充-解码分离推理引擎 veriserve,在修复主流引擎漏洞的同时仅引入极低延迟开销。
要解决什么问题 随着推理引擎演进为异步分布式系统,预填充-解码分离架构引入了极难排查的并发漏洞,原有依赖本地 CPU 超时机制来管理显存生命周期的做法彻底失效。在跨节点推理时,预填充节点通过 GPUDirect RDMA 将 KV 缓存直接写入解码节点的 GPU 显存,全程绕过目标 CPU。当请求因超时被中止时,清理操作会在网卡、CPU 和 GPU 之间产生竞态条件。由于单侧 RDMA 传输在硬件层无法被立即撤销,如果解码节点仅凭本地 CPU 报错就过早回收该请求占用的物理页并分配给新请求,旧请求仍在链路上的 RDMA 数据包就会静默覆盖新请求的 KV 缓存。这种生命周期错位不仅不会导致崩溃,还会正常返回 HTTP 200,从而将一个用户的缓存数据泄露给另一个用户。在真实硬件上捕捉这种深层并发漏洞极其缓慢且昂贵,传统 CI 测试根本无法覆盖。
怎么做的 核心思路是利用代码智能体生成形式化规范与证明,通过严格的工作流防止智能体“钻空子”,并从底层设计上将请求取消与硬件 DMA 完成这两个动作彻底解耦。方法由验证工作流 vstack 和推理引擎 veriserve 构成。首先,为了防止智能体在遇到难以证明的竞态条件时通过弱化规则来骗取验证通过,vstack 强制执行五个阶段:将软件需求编码为哈希锁定的形式化安全不变量;构建 TLA+ 和 Z3 模型并将状态转移精确映射到生产代码的具体行;验证模型保真度(历史漏洞必须报错,修复后必须通过);使用 TLC 寻找反例并用 TLAPS 证明状态机;最后将证明过的前置条件作为轻量级运行时检查镜像到引擎中。其次,针对本地超时困境,作者设计了以 PdLedger 状态机为核心的 veriserve 引擎。它放弃使用原始物理页 ID,而是通过带版本号的票据追踪物理页:$Ticket = (page_id, gen)$。该状态机定义了六种显存状态,并强制实施以下关键设计来绕开显存污染卡点:当请求正常结束且带有硬件停止证据时,页面先进入 DRAINING 状态,确认底层访问停止后才回到 FREE 并分配新版本号,确保页面守恒:$State(p) = DRAINING \land HardwareStopped(p) \implies NextState(p) = FREE \land NextGen(p) = gen + 1$。当请求超时但缺乏硬件停止证据时,系统会立即终止请求以防止挂起,但将受影响的物理页永久打入 QUARANTINED(隔离)状态。迟到的 RDMA 写入只会安全地落入废弃页面,在数学上保证了新请求的隔离性。
效果如何 实验在单节点 4 卡 NVIDIA GB200 上搭建,使用 Qwen3-0.6B 和 Qwen3-32B 模型,基于 Mooncake 库进行 GPUDirect RDMA 传输,测试数据来自阿里云 qwen-bailian 生产负载。对比基线为生产环境中的 SGLang 和 vLLM(代表依赖本地状态机的预填充-解码分离路线),以及一个移除了验证逻辑的旁路基线。在漏洞挖掘方面,该方法在 CPU 上对 SGLang 和 vLLM 的生产代码进行模型检查,成功发现了 RDMA 仍在传输时回收传输槽等三类真实并发漏洞,并在 GB200 上完成复现,最终向这两个项目提交了 6 个修复 PR。在形式化证明方面,完成了包含 226 个模块、516973 个证明义务的 TLAPS 归纳证明,并在 8 次正常服务运行中实现了 100% 的边界事件轨迹回放验证。在性能代价方面,Qwen3-32B 负载下解码端检查在 p50 分位仅消耗 0.33 毫秒 CPU 时间,相比旁路基线仅增加了 0.18% 的 p50 TPOT 开销。作者承认的代价与局限是:超时且无停止证据的物理页会被永久隔离,这本质是以牺牲少量显存容量换取绝对隔离;此外,形式化证明建立在显式配置假设之上,不能保证底层的 Python 实现或 GPU 算子绝对无 Bug,仍需依赖运行时检查兜底。
随着编程智能体(Coding agents)在编写LLM基础设施(从GPU算子、调度器到自定义服务引擎)方面变得越来越强大,问题的瓶颈已经从“能力”转移到了“验证”:我们如何知道智能体编写的引擎实际上是正确的?仅仅通过延迟和吞吐量基准测试仍然会隐藏罕见的并发Bug。当单个工程师开始并行编排成百上千个编程智能体时,人类的代码审查会遇到认知极限;而让智能体审查其他智能体也无法解决这个问题,因为对抗性审查大多是在浪费Token,不如将这些Token花在经验验证和形式化验证上。
本文的核心目标是为智能体生成的底层系统代码提供可靠的验证范式,主要创新点如下:
vstack,这是一个为编程智能体设计的5阶段形式化验证工作流。veriserve,这是一个具有Prefill-Decode(PD)分离架构的可验证LLM服务引擎原型,其核心围绕一个经过形式化验证的KV页生命周期设计模型(PdLedger)构建。vstack应用于生产环境的Prefill-Decode服务中,在SGLang和vLLM中发现了三类真实的RDMA和缓存并发Bug,并向上游提交了 6个Pull Requests (PRs)。veriserve的PdLedger设计模型通过了包含 226个模块、516,973个证明目标的TLAPS安全证明,同时在NVIDIA GB200上仅增加了 0.18%的平均p50 TPOT(每个输出Token时间)开销。LLM推理引擎的演进与并发风险。过去三年,vLLM和SGLang等推理引擎从单节点执行器演变为异步分布式系统。它们在同一个物理GPU KV页池上叠加了分页KV内存(paged KV memory)、共享前缀缓存(shared prefix caching)以及分离的Prefill-Decode RDMA传输(disaggregated prefill-decode RDMA transfers)。当请求超时或中止时,其清理工作会同时在RDMA网卡、CPU缓存树和GPU注意力算子中产生竞争(race)。由于GPUDirect RDMA直接写入GPU内存而不经过目标CPU,生命周期不匹配通常不会导致服务器崩溃,而是返回HTTP 200 OK,同时静默地将一个用户的KV缓存混入另一个用户的响应中。近期的LMSYS和Cloudflare披露突显了生产环境中的这一风险,记录了跨节点RDMA中止竞争和被拒绝请求的KV交接Bug,这些Bug导致数据泄露给155个用户响应。
真实硬件上捕获并发Bug的成本高昂。在真实硬件上捕获这些静默的并发Bug既缓慢又极其昂贵。标准的CI单元测试仅在单机上运行且只覆盖已知路径,而罕见异步交错下的微妙分布式竞争极少在CI中暴露。复现RDMA生命周期竞争需要多GPU RDMA硬件(如H100或GB200)、独立的prefill和decode实例,以及严格的跨worker时序。在GPU集群上用长时间的压力测试来排查它们会消耗稀缺的算力,且依然无法保证消除所有竞争条件。
形式化验证的引入与AI智能体的作用。为了在不消耗GPU时长的情况下捕获这些深层并发Bug,作者转向了形式化验证(formal verification):将系统建模为状态机,并结合TLA+模型检查器与Z3和TLAPS定理证明器,穷举探索数百万种异步调度,并在CPU上证明安全不变量。过去,形式化验证对AI基础设施来说是不切实际的,因为vLLM和SGLang等引擎不断合并新的PR,而手动编写和更新形式化规范及证明需要数月的人工努力。如今,编程智能体(coding agents)提供了一种实用的方法来弥合这一差距。因为LLM能够阅读大型系统代码库,并比人工证明工程快得多地生成数千行形式化规范和证明,我们可以引导编程智能体对关键子系统进行规范、模型检查和证明,从而在快速迭代的开源项目中实现可验证的服务(verifiable serving)。
vstack形式化验证面临的挑战。将智能体驱动的形式化验证转化为可靠的工作流需要解决两个直接挑战。首先,形式化验证最困难的部分不是运行求解器,而是编写准确的规范(Specification):即软件在任何异步调度下都绝不能违反的要求。得益于开源的vLLM和SGLang,作者并非凭空捏造这些要求,而是直接将其建立在真实用户问题、Bug修复PR和GPU算子前置条件的基础之上。
智能体的奖励作弊问题。其次,即使有明确的规范,仅仅要求编程智能体编写形式化模型并进行证明也很少能直接成功。当模型检查器报告竞争条件时,天真的编程智能体会经常对验证器进行奖励作弊(reward-hack):它不会暴露真实的Bug,而是削弱不变量,从模型中删除超时分支,或者添加不切实际的ASSUME语句,从而使检查器返回0 errors。
vstack的五阶段验证工作流。为了防止奖励作弊并使智能体驱动的验证变得可靠,作者构建了vstack,这是一个用于Claude Code和Cursor的开源插件,它强制执行一个五阶段验证工作流:
TLA+和Z3模型,其中每个状态转换都精确映射到生产代码库中的file:line@commit,将非原子的跨线程和跨节点操作拆分为单独的步骤。TLC广度优先搜索,在有界模型内找到最短的反例轨迹,然后使用Apalache、Z3和TLAPS证明建模的状态机和GPU KV缓冲区地址算术在我们显式的配置假设下成立。Prefill-Decode分离服务的规范定义。作为原型,作者将vstack应用于Prefill-Decode分离服务(Prefill-Decode Disaggregated Serving)。在该架构中,Prefill节点计算prompt的KV缓存,并通过单边RDMA将其传输到Decode节点,Decode节点共享缓存的前缀并运行Decode注意力算子。针对这个核心KV页子系统,作者定义了四个规范:
FREE状态,否则将永久隔离在QUARANTINED核算中。在SGLang和vLLM中发现的并发问题。在CPU上针对这四个规范检查SGLang和vLLM的生产Prefill-Decode实现,发现了三类并发问题。作者在NVIDIA GB200上复现了选定的RDMA故障路径,在CPU上复现了控制平面死锁,并提交了6个上游PR:
HTTP 200 OK下静默读取或覆盖了另一个请求的KV缓存。作者在SGLang中提出了上游修复(PR #48883, #48889, #48960, #48979, #48982),以及由@vadiklyutiy提交的相关vLLM拉取验证PR #62065。本地超时失效的根本原因。上述最深层的生命周期故障都有一个根本原因:使用本地CPU超时或错误代码来猜测异步硬件RDMA何时完成。使用TLAPS和Z3,作者形式化地证明了:在无界的异步延迟和不可区分的本地历史下,如果没有可信的停止或撤销证据,任何仅依赖本地的页面回收策略都无法同时保证隔离性(Isolation)(如果它过早回收页面)和页面级别的最终性(Finality)(如果它永远持有页面)。
veriserveveriserve与PdLedger状态机设计。因为没有任何仅依赖本地的超时策略能够逃脱上述权衡,当前的引擎(如SGLang和vLLM)在它们的RDMA连接器、前缀缓存和解码调度器维护基于原始page_id整数的独立本地计数器并猜测硬件RDMA何时完成时,仍然容易受到攻击。为了从设计上解决这个问题,作者构建了veriserve,这是一个在mini-sglang和Mooncake GPUDirect RDMA上具有PD分离的可验证LLM服务引擎。它以单一的能力状态机PdLedger为中心,该状态机通过带版本的票据$(page, gen)$在六个显式实现状态中跟踪每个物理页:FREE、PRIVATE、SHARED、DRAINING、QUARANTINED和DUP。
解耦请求取消与硬件DMA完成。核心设计差异在于使用DRAINING和QUARANTINED来解耦请求取消(request cancellation)与硬件DMA完成(hardware DMA completion),从而解决请求挂起与数据损坏之间的权衡:
FREE:释放具有未完成RDMA或算子访问的私有页面会首先将其移至DRAINING状态。一旦硬件完成或对等方确认证实所有被跟踪的访问都已停止,PdLedger将页面返回到FREE,同时每个新的请求化身都会收到一个新的生成标识符$gen$,从而保持守恒性(Conservation)。QUARANTINED:当传输超时且没有停止证据时,PdLedger终止受影响的等待请求使其不挂起,同时在进程的生命周期内将该暴露的物理页永久隔离在QUARANTINED中,以便任何迟到的RDMA数据包无害地落在FREE和前缀缓存之外,从而保持隔离性(Isolation)和完整性(Integrity)。模型与Python实现的对齐。信任TLAPS和Z3验证器,形式化证明在其显式假设下确立了抽象设计模型的安全性,但这并不意味着Python实现、GPU算子或RDMA提供程序没有Bug。为了保持Python引擎与模型对齐,veriserve在运行时同步检查PdLedger前置条件,在变异门(mutation gates)中拒绝注入的状态转换变异,并记录Prefill和Decode边界转换以进行逐步的TLC轨迹验证。
Qwen3-0.6B 和 Qwen3-32B。mini-sglang和Mooncake GPUDirect RDMA实现。形式化验证工具链包括TLA+、TLC、Apalache、TLAPS和Z3。qwen-bailian 匿名使用轨迹。作者在CPU上对PdLedger设计模型进行了形式化验证,并在NVIDIA GB200节点上进行了端到端的GPUDirect RDMA服务评估:
TLC模型检查在有界配置上探索了超过 2100万个可达状态,出现零安全违规。在规范的显式Sizes和Design假设下,完成了跨越所有64个协议动作和54个归纳不变量的 226个模块、516,973个证明目标的TLAPS归纳证明,并结合Z3证明了在页面大小为1、16和64时建模的6D GPU KV缓冲区地址算术。TLC重放。PdLedger验证了 540个KV校验和,零不匹配且零账本违规,同时运行时检查捕获了所有三个注入的粘合故障(glue faults)。Qwen3-32B的Alibaba qwen-bailian工作负载时,Decode端PdLedger检查在p50下每个解码步骤耗时 0.33 ms 的CPU时间(相比于 13.6 ms 的中位数HTTP TPOT)。与未经验证的旁路基线相比,PdLedger增加了 +0.18%的平均p50 TPOT开销(95%置信区间为-0.32%到+0.68%)。随着自主编程智能体开始编写生产系统中最深层的代码,可验证的服务(Verifiable serving)定义了LLM基础设施的下半场。本文通过开源vstack(5阶段形式化验证插件)和veriserve(可验证的LLM服务引擎),并向上游SGLang和vLLM提交并发修复,证明了这一路径的可行性。
未来工作展望:验证Prefill-Decode分离服务的KV页生命周期只是第一步。未来的工作将集中在分层KV缓存(如SGLang HiCache)、多页前缀树以及底层GPU算子的形式化验证上。
致谢与社区贡献:
本研究的GPUDirect RDMA评估得到了NVIDIA在GB200硬件上的支持。作者感谢SGLang、mini-sglang、vLLM和Mooncake社区构建了开源的分离服务技术栈并审查了上游Bug报告和修复。同时感谢Qwen团队和Alibaba发布了评估中使用的Qwen3模型和qwen-bailian轨迹。验证工作流建立在开源的TLA+、TLC、Apalache、TLAPS和Z3生态系统之上,并从Lauren Tan的pstack中汲取了灵感。