引言
随着大语言模型（LLM）从实验室走向生产环境，推理引擎的架构设计正经历一场深刻的技术革命。从早期简单的 HuggingFace Transformers 推理，到如今 vLLM、SGLang、TensorRT-LLM 等高性能引擎并存的格局，推理系统不仅要应对百万级并发请求，还要在吞吐量和延迟之间找到最佳平衡点。本文将深入解析 LLM 推理引擎的核心技术原理、架构演进路径，以及未来的发展趋势。
LLM 推理的核心挑战
大模型推理不同于传统的深度学习推理任务，它面临三个根本性挑战：
显存墙问题：一个 70 亿参数的 FP16 模型需要约 14GB 显存仅存储权重，加上 KV Cache 和推理过程中的中间激活，单卡往往无法满足需求。
计算强度不均：Prefill 阶段（处理输入 Token）是计算密集型的，而 Decode 阶段（逐 Token 生成）是显存带宽密集型的，这种异构性要求引擎具备灵活的调度能力。
序列长度动态变化：用户请求的输入/输出长度差异巨大（从几十到数万 Token），导致 batch 内计算负载严重不均衡，容易造成 GPU 利用率低下。
vLLM 的革命性创新：PagedAttention
2023 年 vLLM 的横空出世标志着 LLM 推理进入新纪元。其核心贡献 PagedAttention 借鉴了操作系统的虚拟内存管理思想，彻底解决了 KV Cache 的内存碎片问题。
传统方法中，每个序列的 KV Cache 需要一块连续内存，随着序列的生成和终止，显存中会留下大量无法利用的碎片。PagedAttention 将 KV Cache 划分为固定大小的"页"，序列的虚拟地址空间可以映射到不连续的物理页面，这一步使得显存利用率从约 40% 提升到接近 100%。
更重要的是，PagedAttention 实现了跨请求的 KV Cache 共享。在 parallel sampling（同一输入多个输出）或 beam search 场景下，子序列可以复用父序列的 KV Cache，仅在分叉点之后存储差异部分，显存节省可达 55%。
SGLang：从推理引擎到结构化生成框架
SGLang 代表了 LLM 推理引擎的第二个重要演进方向。它引入了 RadixAttention 算法，将请求序列组织成 Radix Tree 结构，基于前缀匹配自动重用 KV Cache。
与 vLLM 的手动共享不同，SGLang 的 RadixAttention 是自动的：新请求的到来会自动与缓存树进行前缀匹配，最长公共前缀直接复用 KV Cache。在 multi-turn 对话、few-shot 推理等场景中，这一设计可减少 60-80% 的重复计算。
SGLang 还首创了 compressed FSM（有限状态机）技术，将 JSON Schema 或正则表达式约束编译为 token 级有限状态机，使约束解码的 overhead 从毫秒级降至微秒级，实现了真正意义上的零开销结构化输出。
前沿调度策略剖析
Continuous Batching：不同于传统 static batching，continuous batching 允许任意时刻加入/移除请求。一旦某个序列生成完成，新的序列立即填充空位，GPU 不停歇运转。
Chunked Prefill：将长输入的 prefill 拆分为多个 chunk，与 decode 步骤交错执行。避免了单个大 prefill 阻塞所有 decode 请求，大幅降低尾延迟。vLLM 和 SGLang 均支持此特性。
Decode-Prefill Disaggregation：将 prefill 和 decode 部署在不同的 GPU 甚至不同的节点上。Prefill 节点使用高算力 GPU，Decode 节点使用高显存 GPU，通过高速网络传输 KV Cache。Google DeepMind 的研究表明，这种分离式部署在吞吐上可提升 30-50%。
MoE 模型带来的新机遇
随着 Mixture-of-Experts（MoE）架构的兴起，推理引擎面临新的挑战和机遇。DeepSeek-V3、Qwen-MoE 等模型拥有数千个专家但每次推理仅激活少数几个，这带来了特殊的负载均衡问题。
Engine 需要动态感知每个专家的负载，进行请求级路由调度，避免"热点专家"成为瓶颈。同时，专家级别的并行策略和量化策略也成为优化的新维度。
未来展望
推理引擎正朝着以下方向快速演进：推理与训练的融合（训练时推理、实时蒸馏）、异构硬件自适应（CPU/GPU/DPU 混合调度）、智能批处理（根据请求复杂度动态调整 batch 策略）以及端云协同推理。
随着模型规模持续增长和推理成本成为 AI 商业化的瓶颈，推理引擎的架构创新将持续是决定 AI 基础设施竞争力的关键因素。
发表评论 取消回复