The Next Generation of Speculative Decoding: DFlash and Spec V2

发表时间: 2026-06 · Blog post by Z Lab, Modal, and SGLang Teams (lmsys.org)

原文: https://lmsys.org/blog/2026-06-15-next-generation-speculative-decoding-dflash-v2

作者/机构：Z Lab, Modal, and SGLang Teams（Z Lab：Jian Chen, Yesheng Liang, Zhijian Liu；Modal：David Wang, Charles Frye；SGLang：Qiaolin Yu, Liangsheng Yin, Khoa Pham）
发布时间：2026年6月15日

速读

一句话结论 该工作提出了融合块扩散并行生成与跨层键值注入的推测解码模型 DFlash，配合 SGLang 消除主机同步开销的 Spec V2 重叠调度引擎，使 Qwen 3.5 397B-A17B 的端到端推理吞吐达到原生多词元预测的 1.5 倍、无推测基线的 4.3 倍以上。

要解决什么问题 大语言模型自回归生成面临严重的内存墙瓶颈，逐词生成的算术强度（计算与访存之比）极低。推测解码（用小型草稿模型提议候选词元并由目标模型并行验证的技术）可缓解此问题，但现有主流方案（如 EAGLE 系列，以及 Gemma 4 和 DeepSeek-V4 中的原生多词元预测 MTP）在草稿模型内仍采用逐词自回归生成。这种串行机制导致草稿延迟随词元数线性增加，迫使工程实践只能采用极浅层草稿网络，限制了候选词质量；同时，EAGLE-3 等方法仅在草稿网络输入层引入目标模型特征，信号随网络深度加深而衰减，难以支撑更长推测。若直接训练小型块扩散模型则接受率过低，使用大型扩散模型（如 SpecDiff-2）又会带来高显存与计算开销。此外，主机与设备间的频繁同步开销也严重阻碍了硬件性能的充分释放。

怎么做的 DFlash 的核心思路是用单步并行扩散替代自回归串行草稿，并用目标模型键值缓存直接增强深层草稿质量，同时在引擎侧消除调度同步瓶颈。关键设计包含三个层面：首先是块扩散草稿模型，仅需单次前向传播便可并行生成整块草稿词元，将草稿延迟转化为硬件友好的常数级开销，在生成 4、8 乃至 16 个词元时延迟均显著低于浅层自回归草稿器；其次是键值（KV）注入机制，针对深层草稿特征衰减难题，直接提取目标模型上下文隐藏状态 $H_{\text{target}}$，并在草稿模型的每一层直接投影注入其 KV 缓存：

$$\text{KV}_{\text{draft}}^{(l)} = \text{Projection}^{(l)}(H_{\text{target}})$$

这使草稿模型免于从头建模全部上下文，并在深层持续保留强上下文约束以提升接受长度；最后在 SGLang 引擎实现中，系统引入分层批处理投影与融合算子实现即时物化，避免保存中间隐层张量占用显存并支持基数树前缀缓存共享，同时借助 Spec V2 重叠调度器，将第 $N-1$ 批次的主机清理工作与第 $N$ 批次的 GPU 执行重叠，并将第 $N$ 批次的显存分配与第 $N-1$ 批次的 GPU 执行重叠，消除了主机同步断点。

效果如何 实验在 Modal 平台的 8 张 B200 上测试了 BF16 精度的 Qwen 3.5 397B-A17B（开启思考模式，最大生成 4096 词元），并在单张 B200 上测试了 Qwen 3-4B 与 3-8B。对比基线包括自回归推测代表 EAGLE-3（5 层结构）、原生多词元预测 MTP 路线（最长 7 步）及无推测基线。在 Qwen 3.5 397B-A17B 的 HumanEval 测试中（并发 1，块大小 16），DFlash 达到基线吞吐的 4.3 倍以上、原生 MTP 的 1.5 倍，并在 GSM8K、HumanEval 和 MT-Bench 的并发 1 至 32 场景下全面超越原生 MTP。在 Qwen 3-4B 上，5 层 DFlash 在接受长度与 5 层 EAGLE-3 相当的情况下，端到端加速比全面胜出（GSM8K 达到 3.3 倍对 2.1 倍，HumanEval 达到 3.2 倍对 2.2 倍，MT-Bench 达到 2.2 倍对 1.4 倍）。消融实验显示，纯扩散模式在接受长度较低时依然超越 EAGLE-3 的加速比，纯注入模式则将接受长度提升至 4.8。在系统层面，Spec V2 调度器使 Qwen 3-8B（并发 32）吞吐从 11.4 ktok/s 提升超 33% 至 15.3 ktok/s；小米 MiMo v2.5-Pro-UltraSpeed 亦采用该方案达成了超 1000 output tps。其代价在于草稿与目标模型状态强绑定，高度依赖底层融合算子与物化优化来避免显存开销。

A1 主要贡献

在基于 Transformer 架构的大语言模型（LLM）推理部署中，自回归（Autoregressive）解码机制导致输出必须逐 token 串行生成，算术强度（Arithmetic Intensity）极低，难以充分饱和现代硬件（如 GPU、TPU）的计算吞吐。推测解码（Speculative Decoding）作为加速推理的标准范式，通过小型草稿模型（Draft Model）预测候选 token，并由目标大模型并行验证。然而，主流方案（包括 EAGLE 系列以及 Gemma 4、DeepSeek-V4 等原生搭载的 Multi-Token Prediction/MTP 模块）依然在草稿模型中采用串行自回归生成，导致草稿生成过程依然受到硬件低利用率的瓶颈限制，且草稿开销随推测长度线性增长。针对已有方案要么直接训练小型块扩散（Block Diffusion）模型导致接受长度（Acceptance Length）极低，要么使用大型扩散模型（如 SpecDiff-2）导致显存开销和延迟不可承受的困境，本文及合作团队提出并工程落地了新一代推测解码技术体系：

提出 DFlash 推测解码架构：采用轻量级块扩散草稿模型实现候选 token 块的单次前向并行生成，结合核心创新的 KV 注入（KV Injection） 机制——将目标模型上下文隐层表征直接映射并注入到草稿模型的每一层 KV Cache 中，使得草稿模型无需重新建模全量上下文，仅需聚焦预测下一块 token，极大提升了候选 token 的接受长度并显著压缩了推测延迟。
在 SGLang 引擎中实现高吞吐系统级工程集成：解决了草稿模型与目标模型之间的状态绑定难题，提出了即时物化（Immediate Materialization）策略，设计了跨层批处理线性投影（Layer-batched Linear Projection）与 Norm+RoPE 融合 Triton 算子，消除显存占用并保证前缀 Radix Cache 的高效复用。
结合 SGLang 推测引擎 Spec V2 的重叠调度（Overlap Scheduling）架构：深度重叠主机端元数据处理/停机词检测（pop_and_process）以及批次 KV 分配（prepare_for_decode）与 GPU 计算流水线，彻底消除推测解码中的 Host-Device 同步开销，使端到端吞吐提升超 33%。
开源全面验证与高性能模型发布：发布针对 Qwen 3.5 397B-A17B 的开源 DFlash 推测模型。在 8×B200 硬件环境及 HumanEval 评测集单并发下，取得超过基线模型 4.3 倍、原生 MTP 方案 1.5 倍的吞吐加速，并在 1 至 32 全并发区间全面超越原生 MTP。

Fig 1 8xB200 硬件下 Qwen 3.5 397B-A17B 在 HumanEval 数据集上的吞吐与接受长度对比
工作负载：Qwen 3.5 397B-A17B (BF16)，数据集：HumanEval。评测配置：贪婪解码（Greedy Decoding），启用思考模式（Thinking Enabled），最大新生成 token 数量 4096。硬件：Modal 平台 8×B200。接受长度为所有请求的平均值。草稿 token/块大小选择以最大化吞吐为准（MTP：7步；DFlash：块大小 16）。

A3 背景知识/关键Observation/设计原则

自回归解码的硬件失配瓶颈：Transformer 架构的自回归解码机制要求 token 必须逐一生成，计算具有强烈的访存密集（Memory-bound）特性，算术强度低，无法充分发挥现代加速芯片的矩阵计算潜能。
推测解码范式及其固有矛盾：推测解码通过轻量级草稿模型预先推测多个后续 token，再由目标 LLM 进行并行验证，其优势在于数学上完全保证输出分布与目标模型无损一致。然而以 EAGLE 系列 [EAGLE, 2025] 以及 Gemma 4、DeepSeek-V4 中的原生 MTP 模块为代表的传统推测方法，其草稿模型本身依然依赖串行自回归生成。这种设计将串行瓶颈从目标模型转移至草稿模型，随着草稿长度增加，推测开销呈线性增长，迫使系统只能采用极浅层草稿模型，限制了最终加速比。
块扩散机制在草稿生成中的挑战与 Observation：使用块扩散（Block Diffusion）模型作为草稿器能够通过单次前向传播并行生成整块 token，符合 GPU/TPU 的高度并行偏好。但面临两难挑战：直接从头训练小型块扩散模型会导致极低的接受长度；而引入现成的大型扩散 LLM（如 SpecDiff-2 [SpecDiff-2, 2025]）又会引入巨大的显存占用和显著的推测开销。
核心设计原则：目标模型隐层表征的 KV 注入：Z Lab 观察到目标模型本身对上下文的理解最为精确与完备。受 Medusa [Medusa, 2024]、EAGLE [EAGLE, 2025] 和多 token 预测 MTP [Gloeckle et al., 2024; Samragh et al., 2025] 的启发，DFlash 确立了关键设计原则：直接从目标模型提取上下文 token 的隐层表征，并将其直接注入到草稿模型的 KV Cache 中。通过该设计，草稿模型无需从零学习和建模完整的上下文序列，仅需利用与目标模型深层共享的信息载体聚焦于下一块 token 的预测，从而兼顾极致小巧的模型体积与极高的接受率。

A2 方法细节

推测加速比的双要素解耦与 DFlash 的改进维度：推测解码的加速倍数本质上取决于两个核心变量：单轮推测循环中被目标模型接受的 token 数量（即接受长度），以及草稿模型引入的额外计算与延迟开销。DFlash 在这两个维度同时进行了针对性突破：扩散并行推测大幅压低了草稿延迟开销，而 KV 注入机制显著拔高了候选 token 的接受长度。
基于块扩散的单次前向并行推测（Parallel Drafting）：针对自回归草稿模型（如 EAGLE-3）草稿开销随长度线性增长且被迫限制模型深度的缺陷，DFlash 构建了轻量级块扩散草稿模型。该模型能够在单次前向传播中完全并行地生成包含 4、8 甚至 16 个 token 的候选块，具有高度的硬件亲和性。在工程延迟对比中，一个生成 4、8 或 16 个 token 的 5 层 DFlash 草稿器，其端到端推测延迟明显低于仅生成 4 个 token 的 1 层 EAGLE-3 草稿器。

Fig 3 DFlash 块扩散推测与 EAGLE 串行推测的延迟与生成模式对比

逐层 KV 注入机制（KV Injection）提高深度建模接受率：EAGLE-3 等传统架构仅在草稿模型的输入层注入目标模型的特征信号，随着草稿网络层数的加深，该上下文引导信号会逐渐衰减。DFlash 则将目标模型的隐层特征直接通过投影注入到草稿模型每一个网络层的 KV Cache 中。这一机制使草稿模型在整个前向生成过程中持续强条件依赖于目标模型的上下文表征，使得加深草稿模型深度能够稳定转化为更高的草稿质量与接受长度。
架构特性的独立消融验证：通过在相同训练数据集和 Qwen 3-4B 目标模型上对 5 层草稿模型进行端到端对比评测，验证了两大核心设计的有效性：
- 基线对比：标准 DFlash 在取得与 5 层 EAGLE-3 相当甚至接近的接受长度下，由于并行推测延迟大幅降低，端到端加速比显著跃升。
- 扩散推测独立消融（仅扩散）：移除 KV 注入、仅保留块扩散机制时，尽管接受长度有所下降（如 GSM8K 从 4.2 降至 3.5），但由于草稿阶段速度极快，端到端加速比依然大幅超越 EAGLE-3（GSM8K 端到端加速比达 2.9x 对比 EAGLE-3 的 2.1x）。
- KV 注入独立消融（仅注入/自回归模式）：在自回归草稿模式下单独验证 KV 注入，由于深层表征持续引导带来的高质量推测，接受长度显著增长（GSM8K 达到 4.8，HumanEval 达到 4.6），端到端加速比亦显著优于 EAGLE-3。

汇总方法细节中的引用

下表汇总了本文方法与设计阐述中所引用的核心参考文献、标号、原文上下文描述及对应详细索引信息：

引用标注	原文对应描述及分析	详细索引信息
[Speculative Decoding]	“Speculative decoding addresses this bottleneck by using a smaller, faster draft model to propose multiple tokens, which are then verified in parallel by the target LLM...” 用于引入推测解码的基础概念。	Leviathan et al., Fast Inference from Transformers via Speculative Decoding, 2022. URL: https://arxiv.org/abs/2211.17192
[EAGLE series] / [EAGLE]	“...many speculative decoding methods, like the EAGLE series and the native multi-token prediction (MTP)... still rely on sequential autoregression – but in the draft model instead of the target.” 指出 EAGLE 等方法在草稿器中依赖串行自回归的缺陷；后文指出其特征信号随层数衰减。	Li et al., EAGLE: Speculative Sampling Requires Rethinking Feature Uncertainty, 2024 / 2025. URL: https://arxiv.org/abs/2503.01840
[DFlash]	“That’s why Z Lab developed DFlash, which uses a lightweight block diffusion draft model to generate an entire block of draft tokens in parallel...” 介绍 DFlash 原创工作出处。	Chen et al., DFlash: Block Diffusion for Efficient Speculative Decoding, 2026. URL: https://arxiv.org/abs/2602.06036
[SpecDiff-2]	“...while using an existing large diffusion LLM like SpecDiff-2 as the drafter introduces a large memory footprint and high drafting cost.” 用于对比大型扩散草稿模型高显存与高延迟的弊端。	SpecDiff-2: Large Scale Diffusion Draft Models for LLMs, 2025. URL: https://arxiv.org/abs/2511.00606
[Medusa]	“Inspired by previous methods like Medusa, EAGLE and MTP... we extract hidden representations of the context tokens from the target model.” 用于说明从目标模型借用表征的设计灵感来源。	Cai et al., Medusa: Simple LLM Inference Acceleration with Multiple Decoding Heads, 2024. URL: https://arxiv.org/abs/2401.10774
[Gloeckle et al., 2024]	“Inspired by previous methods like Medusa, EAGLE and MTP (Gloeckle et al., 2024; Samragh et al., 2025)...” 阐述原生多 token 预测架构的相关工作背景。	Gloeckle et al., Better & Faster Large Language Models via Multi-token Prediction, 2024. URL: https://arxiv.org/abs/2404.19737
[Samragh et al., 2025]	同上，作为原生多 token 预测（MTP）关键参考文献之一。	Samragh et al., Scaling Multi-Token Prediction for Efficient Speculative Decoding, 2025. URL: https://arxiv.org/abs/2507.11851

A7 补充细节：SGLang 推理引擎工程实现与 Spec V2 重叠调度

从算法研究到生产环境落地的两阶段工程演进：将 DFlash 从实验室阶段推进到大规模生产级推理，必须同时解决推理引擎内部算法结构实现，以及从宿主机调度器（Host Scheduler）到 GPU 执行流水线的全系统端到端优化。在 SGLang 内部的实现历程分为两阶段：第一阶段将其集成至原有的 V1 推测解码引擎（现已废弃），实现草稿与目标模型 KV Cache 的深度联结与注入机制；第二阶段将其无缝迁移至最新的 V2 推测引擎，彻底释放系统级流水线性能。
推测工作流的调度拓扑控制机制：在 SGLang 架构中，调度器（主要驻留于 Host 宿主机）驱动加速卡上的 Model Worker 执行。在推测解码实现上，存在一个反直觉的设计：由草稿模型 Worker（DFlashWorker）作为直接面向调度器的代理通信入口（通过 .forward_batch_generation 等核心方法），而将目标模型的 Worker 封装在内部。DFlashWorker 驱动 DFlashDraftModel 完成候选词生成后，在内部主动调用目标模型的 Worker 进行批次验证。
KV 状态绑定的核心挑战与即时物化（Immediate Materialization）策略：在 EAGLE 等传统推测算法中，草稿模型的 KV Cache 完全独立私有，完全由草稿模型自身的隐层特征经过 KV 投影计算生成。但在 DFlash 中，目标模型的隐层表征（Latents）必须通过草稿模型的 KV 投影算子转化并绑定。系统严禁直接持久化保存目标模型的隐层表征，否则会严重挤占宝贵的 KV Cache 显存池空间，并破坏基于前缀共享的 Radix Cache 机制。因此，SGLang 团队提出了即时物化（Immediate Materialization）方案：在草稿模型前向传播的主干计算发生之前，预先执行草稿模型的 KV 投影计算，将目标模型的表征直接转换为 KV 格式写入缓存。为了保证这一即时阶段的极低延迟，工程团队开发了跨层批处理线性投影（Layer-batched Linear Projection）算子，并配合基于 Triton 开发的 Norm 与 RoPE 融合算子（Fused Triton Kernel）完成高效后处理。
Spec V2 重叠调度器消除主机端同步开销：在推测解码系统中，Host-Device 之间的频繁同步是扼杀推理性能的首要瓶颈，即便 GPU 计算核函数极致优化也无法规避。SGLang Spec V2 引擎通过引入重叠调度器（Overlap Scheduler），充分挖掘出推测流程中的两大时序重叠空间：
1. 批次后处理与下一批次 GPU 执行重叠：当 GPU 执行完成第 $N-1$ 个批次后，宿主机端的 pop_and_process 清理逻辑（包括检测 Stop Token、更新请求元数据等操作）完全与 GPU 上正在执行的第 $N$ 个批次的计算重叠运行。
2. 批次内存预分配与上一批次 GPU 执行重叠：在处理第 $N$ 个批次所需的宿主机 KV 分配计算（位于 prepare_for_decode 方法中）被前移，直接与 GPU 执行第 $N-1$ 个批次的操作实现完全并发重叠。
Spec V2 引擎带来的端到端性能飞跃：在单卡 NVIDIA B200 硬件、运行 Qwen 3-8B 模型、并发量设置为 32 的基准测试下，Spec V2 重叠调度流水线优化将推理吞吐由原先的约 $11.4\text{ ktok/s}$ 飙升至约 $15.3\text{ ktok/s}$，端到端吞吐提升幅度突破 33%。

A4 实验环境与运行配置

评测数据集及任务类型

HumanEval：代码生成基准测试，用于评估严格逻辑、长依赖与语法规则下的代码推测接受度与端到端加速比。
GSM8K：多步骤数学推理数据集，评估草稿模型在 Chain-of-Thought（思维链）复杂推理轨迹下的推测表现。
MT-Bench：多轮开放域对话基准，测试模型在多场景通用文本交互与指令遵循下的加速效率。

关键模型配置

超大规模目标模型：Qwen 3.5 397B-A17B（BF16 精度，MoE 激活架构）。
- 推理模式：贪婪解码（Greedy Decoding），开启内部思考过程（Thinking Enabled），设置最大生成长度为 4096 tokens。
对比与消融目标模型：Qwen 3-4B、Qwen 3-8B。
草稿模型参数规格：
- EAGLE-3 对比项：5 层自回归草稿模型（及部分消融中使用的 1 层模型）。
- DFlash 草稿项：5 层轻量级块扩散草稿模型，支持块尺寸配置为 4、8、16。针对 Qwen 3.5 397B-A17B 部署中最佳吞吐块大小配置为 16。
- 原生 MTP 配置：目标模型自带的多 token 预测模块，最大推测步数配置为 7 步。

硬件配置

超大模型评测集群：8× NVIDIA B200 GPU 节点（基于 Modal 云平台基础设施搭建），采用 Tensor Parallelism 8（TP=8）全互联并行。
轻量模型评测节点：单张 NVIDIA B200 GPU（用于验证 Spec V2 重叠调度器在 Qwen 3-8B 上的性能提升）。

软件配置与部署启动参数

推理运行环境：SGLang 推理引擎（默认启用 Spec V2 推测调度架构）。
执行依赖与底层后端：
- 环境变量启用流水线重叠：export SGLANG_ENABLE_OVERLAP_PLAN_STREAM=1
- 草稿模型 Attention 后端：FlashAttention-4（fa4）
- 目标模型 Attention 后端：TensorRT-LLM Multi-Head Attention（trtllm_mha）
- 线性注意力 Prefill 与 Decode 后端：分别采用 Triton（triton）和 FlashInfer（flashinfer）
- 状态空间调度策略：--mamba-scheduler-strategy extra_buffer
- 通信与图优化：--enable-flashinfer-allreduce-fusion，Prefill 采用分段 Tensor Core CUDA Graph（tc_piecewise），Decode 阶段 CUDA Graph 最大 Batch Size 为 32。

A4 实验结果

1. Qwen 3-4B 上的架构消融与速度/接受长度对比

在控制训练数据和层数（均为 5 层）相同的前提下，对比 EAGLE-3、完整 DFlash 及各消融变体的端到端指标，指标格式为 接受长度 / 加速倍数：

评估任务	EAGLE-3 (5层)	DFlash (完整架构)	DFlash (仅扩散消融)	DFlash (仅KV注入消融)
GSM8K	4.2 / 2.1x	4.2 / 3.3x	3.5 / 2.9x	4.8 / 2.4x
HumanEval	4.3 / 2.2x	4.0 / 3.2x	3.5 / 2.9x	4.6 / 2.3x
MT-Bench	3.1 / 1.4x	3.0 / 2.2x	2.6 / 2.0x	3.4 / 1.5x

结果分析与结论：
1. 完整 DFlash 在接受长度与 5 层 EAGLE-3 基本持平的情况下，加速比从 1.4x–2.2x 大幅拉升至 2.2x–3.3x，印证了并行扩散草稿在消除串行延迟上的硬件优越性。
2. 仅保留扩散机制时，尽管缺失深度上下文导致接受长度下跌，但由于生成延迟极低，最终加速比仍全面压制 EAGLE-3（高出 0.6x–0.8x）。
3. 仅保留 KV 注入机制时，由于解决了层间特征信号衰减问题，接受长度达到最高（GSM8K 达 4.8），但受制于自回归串行推测的延迟成本，加速比受到一定压制。

2. Qwen 3.5 397B-A17B 旗舰模型在大规模集群上的推测基准

在 8×B200 集群上，全面对比无推测基线（Baseline）、原生 MTP（7 步）与 DFlash（块大小 16）：

单并发吞吐表现（HumanEval）：
- DFlash 取得了超过无推测 Baseline 4.3 倍以上的吞吐提升。
- DFlash 吞吐达到原生 MTP 方案的 1.5 倍。
- 参见上文。
全并发覆盖表现（1 至 32 Concurrency）：
- 在 GSM8K、HumanEval 和 MT-Bench 等所有测试数据集，以及从并发 1 一直到并发 32 的全区间内，DFlash 的吞吐量均持续、稳定地超越原生 MTP 推测方案。

Fig 4 Qwen 3.5 397B-A17B 在不同数据集与不同并发下的吞吐与加速对比
详细评测基线数据及复现配置公开于 Hugging Face 仓库中。

3. Spec V2 引擎调度重叠优化收益

在单卡 B200、Qwen 3-8B（并发 32）配置下，通过双重调度重叠消除主机端瓶颈，系统推理吞吐从原先的约 $11.4\text{ ktok/s}$ 跃升至约 $15.3\text{ ktok/s}$，实现纯工程层面的 33% 吞吐净增长。

A5 结论

本文阐述了由 Z Lab、Modal 和 SGLang 联合研发落地的全新推测解码方案 DFlash 及其配套系统 Spec V2。针对传统推测解码以及原生 MTP 模块在草稿模型中依赖串行自回归的根本缺陷，DFlash 创造性地结合了块扩散并行推测与跨层 KV 注入机制，既消除了串行草稿延迟，又解决了小型草稿器脱离上下文导致的低接受率问题。在工程系统侧，通过 SGLang Spec V2 引擎实现的即时物化、融合算子优化以及重叠调度器，彻底排除了显存挤占与主机端同步气泡。全尺度实验表明，该方案不仅在轻量级模型上表现优异，更在 Qwen 3.5 397B-A17B 等旗舰规模 MoE 架构上实现了跨并发、跨任务对原生 MTP 的全面超越（单并发吞吐超基线 4.3 倍、超 MTP 1.5 倍）。

未来展望与应用方向：

跨架构普适性推广：块扩散并行推测结合 KV 注入的技术范式具备通用性，未来可广泛迁移训练至各类主流开源及闭源目标 LLM 架构中。
超高速端侧与云端部署整合：DFlash 架构已在小米 MiMo v2.5-Pro-UltraSpeed 上验证了实现超过 1000 output tps 的能力，未来将在更多超低延迟对话与大规模推理场景中实现全行业开源社区赋能。