When to Reason: Semantic Router for vLLM

发表时间: 2025-10 · arXiv:2510.08731

原文: https://arxiv.org/abs/2510.08731

作者/机构:
Xunzhuo Liu, Tencent
Chen Wang, IBM Research
Yuhan Liu, University of Chicago
Xiangxi Mo, UC Berkeley
Yue Zhu, IBM Research
Junchen Jiang, University of Chicago
Huamin Chen, Red Hat

速读

一句话结论 本文为开源大语言模型推理引擎设计并集成了一个意图感知语义路由器，通过动态判断查询是否需要复杂的链式思考，在 MMLU-Pro 基准测试中实现了准确率提升 10.24 个百分点的同时，将响应延迟和 Token 消耗均降低了近一半。

要解决什么问题 现有的开源大语言模型推理引擎（如 vLLM）在处理请求时，缺乏原生的语义路由能力，无法动态感知并选择性地应用推理策略。虽然链式思考等高级推理模式能显著提升复杂数学和逻辑任务的准确性，但这种机制并非普遍适用。对于简单的知识型查询，强制使用链式思考不仅无法带来准确率收益，反而会导致模型对简单问题“过度思考”，引发巨大的推理延迟和无谓的 Token 消耗，甚至可能使能源成本激增上百倍。现有的路由方案（如 FrugalGPT 或 RouteLLM）大多停留在模型级别的调度，它们依赖人类偏好数据或近似级联策略，在强弱不同的语言模型之间进行切换，却无法在单一引擎内部根据查询的语义意图实现细粒度的推理控制。这种缺乏推理感知能力的系统现状，导致大语言模型在实际服务中难以兼顾极端的推理效率与高准确率，亟需一种能够动态调节推理深度的轻量级机制。

怎么做的 核心思路是引入一个基于语义而非关键词的意图感知路由器，在请求到达大语言模型前，先将其映射为高维语义嵌入以捕捉上下文真实含义，通过分类器动态决定是否需要触发复杂的推理过程。其路由决策逻辑可以抽象为对输入查询 $q$ 提取高维语义特征 $E(q)$，并将其映射到目标执行空间 $f(E(q)) \rightarrow \{ \text{Direct}, \text{Reasoning} \}$，从而对简单任务执行轻量级直接响应，对复杂任务开启链式思考。这种设计绕开了对所有请求无差别应用链式思考的算力浪费。系统架构由三个关键模块深度集成：首先是意图分类模块，作者微调了速度快且内存高效的 ModernBERT 模型，利用其长上下文支持以及 RoPE 和 FlashAttention 等机制，在包含 1.2 万个学术样本的 MMLU-Pro、5 万个 Token 级别个人身份信息示例的 Microsoft Presidio 以及越狱安全数据集上进行多任务意图分类训练，该模块可直接在 CPU 或 GPU 上进行实时在线推理。其次是高性能分类核心，采用 Rust 语言和 Candle 机器学习框架构建，利用零拷贝张量、SIMD 加速和 Rust 的所有权模型保证线程安全，实现了类别分类、隐私检测和越狱检测的多阶段并行处理，并通过请求批处理和快速分词技术，在商用硬件上无需昂贵 GPU 即可支撑高并发。最后是云原生集成模块，通过 CGO 绑定将 Rust 核心静态链接并封装到 Golang 层，无缝接入 Envoy 代理的外部处理过滤器接口。当 HTTP 请求被拦截时，系统通过 gRPC 将其转发给外部处理器，在请求到达 vLLM 后端前完成实时的分类与路由决策，最终将各路径结果统一返回。

效果如何 实验在涵盖 14 个学术领域的 MMLU-Pro 基准测试上进行，底层模型选用 Qwen/Qwen3-30B-A3B，部署在张量并行度为 4 的 NVIDIA L4 GPU 上，推理服务框架为 vLLM。对比基线为直接使用 vLLM 进行推理的六种静态执行模式，这些基线代表了不加区分地全局应用中性推理或显式链式思考的传统路线（每种模式下又细分为启用推理、禁用推理和基础模式）。量化结果显示，语义路由器在整体性能上取得了显著优势：平均准确率从 48.33% 提升至 58.57%（提升 10.24 个百分点），平均响应延迟从 24.76 秒降至 13.09 秒（降低 47.1%），平均 Token 消耗从 1722.1 个减少到 887.5 个（减少 48.5%）。在商业和经济学等知识密集型领域，准确率提升超过 20 个百分点；在历史、哲学等事实性查询较短的领域，大幅削减了延迟与开销；即使在数学和物理等对推理敏感的领域，延迟也减少了 40% 以上。但作者也承认该方法存在局限：在工程和计算机科学等技术领域性能仍面临挑战，且在数学和生物学等高度依赖密集推理的领域，路由决策的结果好坏参半，表明当前的分类策略在应对极度复杂的边界任务时仍有进一步优化的空间。

A1 主要贡献

本文针对大型语言模型（LLM）在推理时面临的效率与准确性权衡问题，提出了一种语义路由器（semantic router）解决方案。

A3 背景知识

2.1 LLM系统中的路由器

利用路由器动态处理查询以提升效率和准确性。近期的研究工作探索了使用路由器来动态决定如何处理查询，从而提高LLM推理的效率和准确性。例如，FrugalGPT 【5，FrugalGPT: How to use large language models while reducing cost and improving performance, 2023, arXiv preprint arXiv:2305.05176】通过学习为不同查询调用哪些LLM组合，利用提示词自适应、近似和级联模型选择等方法，在商业API上实现了高达98%的成本降低。同样，RouteLLM 【15，RouteLLM: Learning to route llms from preference data, 2025, The Thirteenth International Conference on Learning Representations】训练路由器模型，在推理时根据人类偏好数据和增强数据在强弱LLM之间进行选择，从而在MT Bench、MMLU和GSM8K等基准测试中维持准确性的同时，大幅节省了成本。这些方法展示了基于路由器的技术在改善推理性能方面的潜力，但它们主要集中在模型级别的路由。

2.2 选择性推理的必要性

高级推理策略虽能提升准确性但并非普遍适用且成本高昂。虽然链式思考（CoT）等高级推理策略可以提高准确性，但最近的研究强调，推理并非对所有任务都有益，并且通常会带来巨大的计算开销。Wilhelm等人【5，FrugalGPT: How to use large language models while reducing cost and improving performance, 2023, arXiv preprint arXiv:2305.05176】的研究表明，对于知识型任务，CoT几乎没有带来好处，却可能使能源成本增加高达150倍。类似地，Aggarwal等人发现LLM经常对简单问题“过度思考”而对复杂问题“思考不足”【1，Optimalthinkingbench: Evaluating over and underthinking in llms, 2025, arXiv preprint arXiv:2508.13141】，导致效率低下。Sprague等人【17，To cot or not to cot? chain-of-thought helps mainly on math and symbolic reasoning, 2024, arXiv preprint arXiv:2409.12183】的元分析以及Wei等人【20，Chain-of-thought prompting elicits reasoning in large language models, 2022, Advances in neural information processing systems】最初的CoT研究进一步证实，CoT主要在数学和逻辑任务上提升性能，在其他领域的增益有限，甚至可能降低小型模型的准确性。为了缓解这些低效问题，近期的框架【6，Aware first, think less: Dynamic boundary self-awareness drives extreme reasoning efficiency in large language models, 2025, arXiv preprint arXiv:2508.11582】【24，Think in blocks: Adaptive reasoning from direct response to deep reasoning, 2025, arXiv preprint arXiv:2508.15507】【21，Stop spinning wheels: Mitigating llm overthinking via mining patterns for early reasoning exit, 2025, arXiv preprint arXiv:2508.17627】引入了自适应推理策略，动态调节推理深度，从而在保持准确性的同时减少Token使用量。

2.3 语义路由

一种基于语义而非关键词进行请求转发的新兴系统。语义路由器是一种新兴的LLM推理请求转发系统，其路由决策由输入的语义含义指导，而非明确的关键词或手动定义的规则【13，Semantic routing for enhanced performance of llm-assisted intent-based 5g core network management and orchestration, 2024, GLOBECOM 2024-2024 IEEE Global Communications Conference】【3，Semantic router, 2025, https://www.aurelio.ai/semantic-router】。该路由器通过将用户查询和候选路由话语编码为能够捕捉上下文含义的高维嵌入【23 ，Query routing for retrieval-augmented language models, 2025, arXiv preprint arXiv:2505.23052】，然后选择语义相似度最高的目标路径，通常使用余弦距离等指标进行度量。语义路由为查询级控制提供了一种轻量级且高效的机制，使其成为实现推理感知路由的一个有前景的基础。

A2 方法细节

3.1 系统设计

集成语义路由与推理模式选择器以实现效率与准确性的动态平衡。我们的系统集成了一个语义路由器和一个推理模式选择器，以在LLM推理中动态地平衡效率和准确性。如图1a所示，该过程首先将用户提示编码为高维语义嵌入，以捕捉输入的上下文含义。随后，这些嵌入被一个意图分类器处理，该分类器判断提示是简单的知识型查询还是需要密集推理的任务。基于此分类结果，路由器将输入导向最合适的推理路径：对于简单任务，采用非推理模型的轻量级推理；对于复杂查询，则采用启用了链式思考的模型的推理。最后，各个路径的输出被统一成最终响应。与FrugalGPT和RouteLLM等主要在模型选择层面权衡准确性与成本的先前路由方法不同，我们的设计侧重于基于语义意图的路由，并选择性地调用推理。这使得自适应推理成为可能，即仅在有益时才应用成本高昂的逐步推理，同时为直接的查询保持低延迟和高效率。
图1：提出的意图感知语义路由器概览。(a) 分类与路由工作流；(b) 系统架构。

3.2 实现

一个集成了三个关键模块的统一架构。我们的意图感知语义路由器的实现集成了三个关键模块——用于意图分类的ModernBERT微调、一个基于Rust的高性能分类核心，以及用于Envoy集成的Golang-Rust绑定——形成一个统一的架构，如图1b所示。

3.2.1 用于意图分类的ModernBERT微调

微调ModernBERT模型以实现多任务意图分类。我们微调了ModernBERT模型【19，Smarter, better, faster, longer: A modern bidirectional encoder for fast, memory efficient, and long context finetuning and inference, 2024】用于多任务意图分类。选择该模型是因为它速度快、内存效率高、支持长上下文，并通过融合RoPE和FlashAttention等现代LLM创新技术实现了高准确率。训练流程使用了三个数据集：MMLU-Pro【18，Mmlu-pro: A more robust and challenging multi-task language understanding benchmark, 2024, Advances in Neural Information Processing Systems】（包含约14个领域的约1.2万个学术样本）、Microsoft Presidio【14，Presidio research: Data science utilities, evaluation tools and synthetic data generation for presidio, 2023, https://github.com/microsoft/presidio-research】（包含约5万个Token级别的个人身份信息（PII）示例）以及越狱安全数据集【4 ，Jailbreakbench: An open robustness benchmark for jailbreaking large language models, 2024, Advances in Neural Information Processing Systems】。该分类流程既可以使用CPU也可以使用GPU进行实时在线推理，从而简化了运行时环境的资源需求。

3.2.2 用于高性能分类的Rust核心

使用Rust和Candle框架实现高效的分类引擎。分类引擎采用Rust语言和Hugging Face的Candle框架【8，Candle: A minimalist machine learning framework for Rust, 2023, https://github.com/huggingface/candle】实现，该框架支持高效的零拷贝张量工作流、SIMD加速和优化的内存使用。它利用Rust的所有权模型来保证线程安全，从而运行多阶段的并行推理——包括类别分类、PII检测和越狱检测。该处理流程会对请求进行批处理，并利 用Hugging Face Tokenizers进行快速分词，支持大上下文窗口，并能链接多个分类任务，从而在商用硬件上无需使用昂贵的GPU即可支持高并发请求。

3.2.3 用于云原生Envoy集成的Golang + Rust (通过CGO)

通过CGO绑定将Rust核心封装到Golang层以支持Envoy集成。我们使用CGO绑定将基于Rust的分类核心封装在一个Golang层中，以支持Envoy的外部处理（ext_proc）过滤器接口【7，External processing filter (ext_proc), 2025, https://www.envoyproxy.io/docs/envoy/latest/configuration/http/http_filters/ext_proc_filter】。Envoy会拦截HTTP请求，并通过gRPC将其转发给外部处理器。外部处理器在响应到达后端服务之前，应用实时的分类和路由决策。CGO层被静态链接，最大限度地减少了运行时开销，同时实现了与Kubernetes、服务网格和API网关模式的无缝集成。这种设计模式促进了云原生生态系统的采纳 。

A4 实验环境

A4 实验结果

实验评估了语义路由器在MMLU-Pro基准上相对于直接vLLM推理的性能，主要关注准确性、延迟和Token消耗。

A5 结论

本文提出了一种语义路由器，它能够动态地在推理和非推理策略之间进行选择，以优化大型语言模型的推理过程。在MMLU-Pro基准测试上的评估结果表明，该路由器在准确率上提升了超过10个百分点，同时将Token使用量和延迟降低了近50%。该方法在商业、经济和物理等知识密集型领域尤其有效，尽管在技术和重推理领域仍存在挑战。通过与vLLM的集成，该路由器证明了语义路由是现实世界推理服务中一种实用且高效的解决方案。

A6 附录

附录 A. 额外的各类别结果

补充效率优势的分类数据。除了图3中报告的各类别准确性结果外，我们还提供了两个补充性的分类数据，以突显语义路由在效率方面的优势。
图3：MMLU-Pro上所有推理模式的各类别准确性。

语义路由器在各领域均展现出一致的效率提升。图4和图5中的各类别细分数据证实，语义路由器在所有领域都持续提升了效率。在Token使用方面，与直接使用vLLM的执行模式相比，路由器将平均消耗减少了近一半，在知识密集型学科（如历史、法律和健康）中节省尤为显著，因为这些领域很少需要推理。同样，延迟结果显示，路由器在大多数类别中都保持了更快的响应时间，即使在数学和物理等对推理敏感的领域，延迟也减少了40%以上。这些结果表明，语义路由不仅提高了总体效率，还在各个领域实现了稳健的收益，从而在不牺牲准确性的前提下，提供了更快、更经济的推理。
图4：MMLU-Pro上所有推理模式的各类别平均总Token数。语义路由器始终实现最低的Token使用量，在以知识为中心的领域（如历史、法律、健康）减少了开销，同时在数学和物理等重推理领域保持竞争力。
图5：MMLU-Pro上所有推理模式的各类别平均响应延迟。与直接vLLM模式相比，语义路由器显著降低了延迟，尤其是在事实性查询较短的领域（如历史、哲学）。即使在复杂的推理类别中，路由器通过避免不必要的推理开销，也维持了较低的响应时间。

引用文献汇总