DeepSeek时代: MoE推理系统的工程实战
深入剖析DeepSeek-V3的MLA注意力机制与细粒度MoE专家并行架构，涵盖KV Cache压缩、AlltoAll通信优化、显存预算分配等工程实战细节
LLM推理
KV Cache 共享与复用：从 Prefix Caching 到多租户KV重用的生产实践
深入剖析KV Cache共享与复用的技术体系，从vLLM的Automatic Prefix Caching实现原理，到多轮对话上下文管理策略，再到生产级多租户KV Cache复用架构设计。
打破自回归瓶颈：Speculative Decoding 推测解码的系统工程与生产优化实战
Speculative Decoding 通过小模型草稿+大模型验证的无损加速范式，将 LLM 推理延迟降低2-4×。本文深入拆解核心算法、调度策略与 KV Cache 管理，分析 Medusa、Eagle 与自回归草稿模型的工程取舍与生产部署最佳实践。
异构计算环境下的 AI Agent 任务调度：GPU/NPU/CPU 协同执行引擎
探讨AI Agent在异构计算环境中的任务调度策略，包括GPU/NPU/CPU协同执行引擎、统一内存管理、KV Cache优化及零拷贝技术等深度工程实践。
Multi-LoRA 多租户推理：共享基座模型驱动的微调服务架构革命
深入剖析Multi-LoRA推理引擎的系统架构、内存管理、内核融合与调度算法，基于vLLM/SGLang/TensorRT-LLM给出生产级实现方案和性能基准测试数据。
Mamba 状态空间模型：从理论到生产级推理的 CUDA 内核优化实战
深入解析Mamba状态空间模型的核心原理与生产级推理部署：从选择性机制的数学基础，到Scan算法的硬件感知设计，再到CUDA/Triton内核优化实战。涵盖Mamba2的SSD理论、状态缓存优化、投机解码兼容性，以及在百万token长序列场景下的性能基准。
LLM 推理 Disaggregated Architecture：Prefill-Decode 分离架构深度实战
随着大模型推理规模从单机走向多机，Prefill与Decode阶段的计算特征差异成为系统瓶颈的根本原因。本文深入剖解NVIDIA Dynamo、Mooncake等工业界Disaggregated Inference架构的设计哲学，涵盖KV Cache传输优化、分布式调度算法、负载均衡策略，并结合真实生产环境数据给出工程实践指南。
GQA/MQA/MLA 深度实战：注意力变体如何重塑 KV Cache 内存工程与推理引擎设计
从工程实践角度深入剖析 GQA、MQA、MLA 三种注意力变体如何影响 KV Cache 的内存布局、量化策略和推理引擎设计，包含 vLLM 和 SGLang 的实战部署案例。
Mooncake 与分离式 LLM 推理：KV Cache 传输、缓存与 Prefill-Decode 解耦深度工程实战
深度解析分离式LLM推理架构的设计哲学与工程实现，聚焦KV Cache传输协议、分布式缓存管理、RDMA高效传输、生产部署实践，以Mooncake/Prefill-Decode解耦为例
从 PagedAttention 到 Chunked Prefill：大模型推理调度的深度工程实战
本文深入拆解 vLLM 的 PagedAttention 和 Chunked Prefill 两大核心机制，分析其工程实现细节，并结合实战经验探讨显存管理、延迟优化与调度策略的权衡。
