LLM 推理系统韧性工程：PD 分离架构下 KV Cache 热迁移与分级降级实战
随着 LLM 推理服务进入大规模生产部署阶段，系统韧性成为比峰值吞吐更关键的工程指标。本文深入剖析 Prefill-Decode 分离架构下的 KV Cache 热迁移、分级降级策略和故障恢复机制，给出可直接应用于生产环境的工程方案和实测数据。
LLM推理
Medusa多头投机解码：LLM推理加速的工程演进与深度实战
从经典Speculative Decoding理论出发，深入Medusa多头投机架构的工程实现，涵盖Draft Model选择策略、树形验证结构、投机宽度动态调节、Medusa-2与LayerSkip变体，以及vLLM/TensorRT-LLM生产集成
投机解码深度实战：从草稿-验证采样到 EAGLE 树状草稿，把 LLM 解码延迟砍一半
从内存墙出发推导投机解码的第一性原理，给出可直接运行的接受-拒绝采样完整实现与残差重采样推导，对比独立草稿模型/Medusa/MTP/EAGLE/n-gram 五条路线，讲透树状草稿与 tree attention mask，最后给出 vLLM、SGLang 生产配置、四种不该开启的场景与真实接受率调优方法论。
LLM 推理 Disaggregated Architecture：Prefill-Decode 分离架构深度实战
随着大模型推理规模从单机走向多机，Prefill与Decode阶段的计算特征差异成为系统瓶颈的根本原因。本文深入剖解NVIDIA Dynamo、Mooncake等工业界Disaggregated Inference架构的设计哲学，涵盖KV Cache传输优化、分布式调度算法、负载均衡策略，并结合真实生产环境数据给出工程实践指南。
DeepSeek时代: MoE推理系统的工程实战
深入剖析DeepSeek-V3的MLA注意力机制与细粒度MoE专家并行架构，涵盖KV Cache压缩、AlltoAll通信优化、显存预算分配等工程实战细节
Multi-LoRA 多租户推理：共享基座模型驱动的微调服务架构革命
深入剖析Multi-LoRA推理引擎的系统架构、内存管理、内核融合与调度算法，基于vLLM/SGLang/TensorRT-LLM给出生产级实现方案和性能基准测试数据。
KV Cache 共享与复用：从 Prefix Caching 到多租户KV重用的生产实践
深入剖析KV Cache共享与复用的技术体系，从vLLM的Automatic Prefix Caching实现原理，到多轮对话上下文管理策略，再到生产级多租户KV Cache复用架构设计。
大模型量化与推理系统架构演进：从GPTQ精确校准到PagedAttention内存管理的全链路优化
大模型量化与推理系统架构演进：从GPTQ精确校准到PagedAttention内存管理的全链路优化，全面解析LLM推理加速的核心技术与工程实现。
MoE 推理架构深度实战：从 Expert Parallelism 到 DeepSeek-V3 的工程落地
深入解析 Mixture of Experts（MoE）推理架构的工程实现，涵盖 Expert 路由机制、分层 All-to-All 通信优化、Prefill/Decode 阶段调度策略、Expert Cache 管理，以及 DeepSeek-V3 级别模型的部署实战。
KV Cache 量化与压缩工程实战：从 FP16 到 FP8/INT8/INT4，精度、速度、显存的黄金三角
深入解析 LLM 推理系统中 KV Cache 的量化与压缩工程实战，从 FP16 到 FP8/INT8/INT4 的精度-显存-速度权衡，涵盖 Per-token 量化、GQA 压缩、LazyKV 淘汰、Prefix Sharing、Delta 压缩等前沿技术，附 SGLang 生产级配置与实测数据。
