LLM推理部署实战：从vLLM到TensorRT-LLM的性能优化之路

引言：LLM推理部署成为AI落地核心战场

当GPT-4、Claude、Gemini等大模型的训练成本动辄数亿美元时，推理部署——这个被称为"AI部署最后一公里"的环节，正在成为决定大模型商业化进程的关键。2025年，LLM推理部署已从简单的模型加载演变为涉及系统架构、硬件调度、内存管理和网络优化的综合性工程挑战。

据行业分析机构预估，2026年全球AI推理市场规模将突破500亿美元，超过训练市场的2倍。这不是偶然——每一家将LLM产品化的公司都发现，推理效率直接决定了用户体验的优劣和商业模型的成败。

一、推理引擎架构演进：从PyTorch Ecosystem到专用运行时

1.1 vLLM的PagedAttention革命

vLLM在2023年提出的PagedAttention机制，是LLM推理领域最重要的架构创新之一。它借鉴了操作系统虚拟内存管理中的分页技术，解决了KV缓存（Key-Value Cache）的内存碎片问题。在自回归生成模型中，每个token的生成都依赖于之前所有token的注意力计算结果，这些中间结果存储在KV缓存中。

传统方案为每个序列预分配最大长度的连续内存空间，导致平均60%-80%的内存被浪费。PagedAttention将KV缓存划分为固定大小的block（通常16个token为一页），按需分配非连续物理block，内存利用率从约30%提升至接近100%。

这种架构的优势在长序列场景下尤为明显。当处理32K甚至128K上下文的请求时，PagedAttention使得单张A100 GPU可以同时服务数十倍于传统方案的并发请求。

1.2 TensorRT-LLM：NVIDIA的全栈推理优化

TensorRT-LLM代表了另一种优化思路——深度硬件协同设计。它通过CUDA内核融合（Kernel Fusion）、FP8/INT4量化、多GPU张量并行（Tensor Parallelism）以及Inflight Batching等技术，在NVIDIA GPU上实现极致性能。

在最新的Blackwell架构（B200 GPU）上，TensorRT-LLM对Llama 3.1 405B模型的推理吞吐量达到了每GPU每秒超过3000个token，比H100提升了近5倍。

TensorRT-LLM的核心优化包括：

• Graph Capturing：将整个推理计算图一次性提交给GPU，减少kernel launch开销
• Custom Attention Kernels：针对FlashAttention-3算法手写的CUDA kernel
• Quantization-Aware Serving：支持W4A16、W8A8等多种量化方案，在精度损失极小的情况下提升吞吐量
• Multi-GPU Communication Optimization：利用NVLink和NVSwitch优化AllReduce通信

1.3 SGLang与RADIXAttention

SGLang是2024年下半年迅速崛起的LLM推理框架，其核心创新在于RadixAttention——一种基于Radix Tree的前缀缓存复用机制。在Multi-turn对话和Few-shot场景下，多个请求往往共享相同的前缀（如system prompt或示例），SGLang通过Radix Tree索引这些共享前缀，避免重复计算。

在ShareGPT真实负载测试中，SGLang相比vLLM实现了2-3倍的吞吐量提升，这主要归功于其更智能的缓存复用策略。

二、推理优化的五大核心技术

2.1 Continuous Batching与Inflight Batching

传统的Static Batching要求同一批次中的所有序列同时完成，导致大量计算资源浪费在等待最长序列上。Continuous Batching（也称Inflight Batching）允许在迭代级别动态调整批次——当一个序列完成生成后，新序列立即加入当前批次。

实测数据显示，在100个并发请求的负载下，Continuous Batching相比Static Batching的吞吐量提升达5-10倍，TPOT（Time Per Output Token）降低60%以上。

2.2 Speculative Decoding（推测解码）

推测解码是一种巧妙利用"小模型加速大模型"的技术。其核心思想是：使用一个小型Drafter模型快速生成N个候选token，然后用大模型一次性验证这些候选token的正确性。如果小模型预测准确，等效于一次前向传播生成了多个token。

在Llama 3.1 70B上使用Llama 3.1 8B作为Drafter，实测加速比达到2.5-3.5倍（取决于任务类型和Drafter准确率）。Google的Medusa方案更进一步，通过多个预测头解码多个后续token，加速比高达4-5倍。

2.3 KV Cache量化与分页策略

KV缓存是LLM推理中最大的内存开销。对于一个100B参数的模型，处理128K上下文时，单个请求的KV缓存可达数GB。为降低内存压力，业界探索了多种方案：

• GQA（Grouped Query Attention）：通过减少KV头数量压缩缓存大小，Llama系列广泛采用
• KV Cache量化：将FP16 KV缓存量化为INT8或INT4，减少50%-75%内存占用
• Token Eviction策略：如H2O（Heavy Hitter Oracle）和ScissorHands，智能淘汰低注意力分数的token
• Cross-Layer Sharing：不同transformer层共享KV缓存存储

2.4 Prefill-Decoding分离架构

LLM推理包含两个性质截然不同的阶段：Prefill阶段（并行处理所有输入token）和Decoding阶段（逐个生成token，计算量小但内存带宽受限）。这两个阶段的资源需求差异巨大——Prefill是计算密集型，Decoding是内存带宽密集型。

华为的Mooncake和DistServe等系统提出了Prefill-Decoding分离部署架构。将Prefill和Decoding分别调度到不同的GPU池上，各自优化资源配置，整体吞吐量提升约30%。Prefill节点可配置更多GPU核心加速并行计算，Decoding节点可配置更多HBM带宽优化逐token生成。

2.5 Offloading与异构计算

对于无法完全放入GPU显存的超大模型，Offloading技术将其部分层次卸载到CPU内存或NVMe SSD上。FlexGen和H2O等系统探索了GPU-CPU-SSD三级存储的混合调度策略。

2025年，伴随CXL 3.0互联技术的成熟和PCIe 5.0的普及，CPU-GPU之间的数据传输带宽已经可以达到128GB/s，使得Offloading方案的实用性大幅提升。AMD的MI300X凭借256GB的统一内存架构，支持单卡运行1T参数模型而不需要任何Offloading。

三、生产级推理系统架构设计

3.1 高可用推理集群拓扑

一个面向生产的LLM推理集群通常采用以下分层架构：

第一层：负载均衡与路由

基于请求特征（模型ID、输入长度、优先级）的智能路由层，配合Least-Requests、Shortest-Queue等算法，将请求分发到合适的推理实例。Envoy Proxy和Nginx Plus是常用的选择。

第二层：推理实例池

多个推理实例组成池，每个实例运行vLLM/SGLang等推理引擎。实例内部支持Continuous Batching和请求优先级队列。健康检查机制确保故障实例秒级摘除。

第三层：模型权重管理

LVM（Large Model Volume）管理系统负责模型版本的热切换、A/B测试权重分配、以及金丝雀发布。配合共享存储（NFS/EBS）实现多实例间的模型缓存共享。

3.2 观测性与性能分析

生产级推理系统的观测性需要关注以下核心指标：

• TTFT（Time To First Token）：用户感知的响应延迟，P99应控制在500ms以内
• TPOT（Time Per Output Token）：生成流畅度指标，目标低于50ms
• 吞吐量（tokens/s/GPU）：成本效率指标
• KV Cache利用率：内存效率指标
• 队列等待时间：系统负载指标

使用Prometheus + Grafana构建监控面板，结合自定义的推理trace系统，可以精确定位性能瓶颈。OpenTelemetry的分布式追踪机制适合分析多组件推理链路。

四、前沿趋势：MoE推理、长上下文与端侧部署

MoE推理挑战：Mixture-of-Experts模型（如Mixtral、DeepSeek-V3）的动态稀疏激活特性给推理带来新挑战。每个token仅激活部分专家，如何平衡专家间负载、减少通信开销？DeepSeek提出的Dynamic Routing和Auxiliary-loss-free策略给出了解决方案。

百万token上下文：随着Claude 200K、Gemini 1M等超长上下文模型普及，如何在可接受延迟内处理超长输入成为关键。稀疏注意力（如BigBird、Ring Attention）和Chunked Prefill是两种主流应对策略。

端侧推理：在NPU（Apple Neural Engine、高通Hexagon）上运行7B/13B量化模型已成为可能。llama.cpp和MLC-LLM等项目使得在MacBook上实现15 tokens/s的本地推理，Ollama的易用性让普通用户也能轻松体验。

结语

LLM推理部署是一个需要融合深度学习、分布式系统、高性能编译器和硬件架构知识的跨学科领域。从PagedAttention到TensorRT-LLM，从Prefill-Decoding分离到端侧推理，每一次架构创新都在推动大模型从实验室走向亿万用户的日常使用。理解这些基础设施的演进逻辑，是每一位AI系统工程师构建高性能、低成本AI服务的必修课。