大语言模型推理服务的多级优先级调度 — 从请求路由到内存预留的生产级实现
当LLM推理集群同时为实时对话、在线API任务和离线批量推理服务时，如何确保高优先级请求不被饿死，同时最大化GPU利用率？本文从生产视角拆解LLM推理服务的多级优先级调度架构。
推理优化
大语言模型推理引擎深度对比：vLLM、TensorRT-LLM与SGLang的性能调优实战
深度对比vLLM、TensorRT-LLM和SGLang三大主流LLM推理引擎的技术特性、性能差异与适用场景，涵盖PagedAttention、RadixAttention、In-Flight Batching等核心优化原理，并给出实测数据与选型建议。
梯度提升树引擎深度工程实战：从加权分位数草图、直方图作差到 GPU 直方图构建与低延迟推理全链路
沿着 GBDT 引擎的执行链路拆解工程内核：加权分位数草图（GK summary）的分桶原理与 merge/prune 实现、直方图作差把一半构建成本抹掉的技巧、稀疏感知与默认方向、CatBoost 的 Ordered Target Statistics 与对称树无分支推理、分布式训练只传直方图的通信量下界分析、GPU 上 shared-memory 原子加直方图构建，以及 Treelite/FIL 把树编译成可执行代码的低延迟推理路径，并给出六条生产踩坑清单与选型建议。
光子计算 AI 加速：硅光芯片矩阵乘法与混合计算架构的工程实践
深入剖析硅光芯片实现矩阵乘法的光学原理、MZI干涉仪相位调制机制、光电混合计算架构的工程挑战，以及光子AI加速器在推理场景的实际部署路径
Mamba 选择性状态空间模型：亚二次复杂度大语言模型推理工程实践
从S4到Mamba的架构演进，深入剖析选择性状态空间的数学本质、硬件感知并行扫描实现，以及在大规模语言模型推理中的工程部署实践。
KV Cache 复用与 RadixAttention：从 vLLM 分页到 SGLang 前缀树的工程跃迁
深入研究 SGLang RadixAttention 数据结构如何通过 Radix Tree 实现 KV Cache 的全局复用，在多轮对话、Few-shot 和 Batch 推理场景下实现 30-60% TTFT 降低与 40%+ Throughput 提升。对比 vLLM PagedAttention 的局限，分析树形索引的工程实现、LRU 驱逐策略与调度优化。
CXL 3.0 内存池上的 LLM KV Cache 分层管理：从 DRAM 到持久化内存的近存计算架构
当单次推理请求的KV Cache占用突破百GB级别，GPU HBM容量成为硬性边界，CXL 3.0内存池化提供了全新的KV Cache分层管理方案。本文深入解析四层内存模型设计、热度驱动自动迁移策略以及实战性能基准测试。
Vision Language Model 多模态推理引擎：动态分辨率、图像 Tile 分级调度与跨模态注意力融合深度工程实践
系统拆解 Vision Language Model 推理引擎的核心工程挑战：动态分辨率图像编码、图像 Tile 分级批处理、跨模态注意力融合零拷贝实现、视觉与语言 KV Cache 分层管理、多模态投机解码可行性边界。基于 Llava/Qwen2-VL/InternVL3 在 A100/H100 实测数据，含完整 Rust 与 Python 代码。
大语言模型推理优化实战：从 KV Cache 到 Speculative Decoding 的全栈提速之道
深入解析大语言模型推理阶段的核心优化技术栈，涵盖 KV Cache 内存管理、PagedAttention 分页机制、FlashAttention IO 感知加速、Continuous Batching 吞吐量优化、投机解码延迟降低、量化并行策略等前沿方案
深入理解大语言模型推理优化：从 KV Cache 到 Flash Attention 的全栈实战
深入剖析大语言模型推理优化技术链，覆盖 KV Cache 算法本质、内存瓶颈分析、Flash Attention 从 IO 感知到精确注意力计算、PagedAttention 与 vLLM 内存管理、投机解码原理与实现、以及量化技术在推理加速中的应用。
