CXL 3.0 内存池上的 LLM KV Cache 分层管理：从 DRAM 到持久化内存的近存计算架构
当单次推理请求的KV Cache占用突破百GB级别，GPU HBM容量成为硬性边界，CXL 3.0内存池化提供了全新的KV Cache分层管理方案。本文深入解析四层内存模型设计、热度驱动自动迁移策略以及实战性能基准测试。
KV Cache
2026年LLM上下文窗口革命：从百万Token到无限记忆的架构演进与工程实践
深度解析2026年LLM上下文窗口技术的架构演进：稀疏注意力2.0、线性注意力实用化等变革。
深入理解大语言模型推理优化：从 KV Cache 到 Flash Attention 的全栈实战
深入剖析大语言模型推理优化技术链，覆盖 KV Cache 算法本质、内存瓶颈分析、Flash Attention 从 IO 感知到精确注意力计算、PagedAttention 与 vLLM 内存管理、投机解码原理与实现、以及量化技术在推理加速中的应用。
Vision Language Model 多模态推理引擎：动态分辨率、图像 Tile 分级调度与跨模态注意力融合深度工程实践
系统拆解 Vision Language Model 推理引擎的核心工程挑战：动态分辨率图像编码、图像 Tile 分级批处理、跨模态注意力融合零拷贝实现、视觉与语言 KV Cache 分层管理、多模态投机解码可行性边界。基于 Llava/Qwen2-VL/InternVL3 在 A100/H100 实测数据，含完整 Rust 与 Python 代码。
LLM 推理引擎 Continuous Batching 与 PagedAttention：从 vLLM 原理到生产级部署实战
深度拆解LLM推理引擎核心架构：Continuous Batching迭代级调度原理、PagedAttention虚拟分页KV Cache管理、Chunked Prefill长Prompt处理、Prefix Caching前缀共享、分离式Prefill/Decode架构、生产监控指标与调优指南、投机解码等前沿演进
大语言模型推理优化全栈实战：从KV Cache到投机解码的深度剖析
深入剖析大语言模型推理优化从KV Cache内存管理到投机解码的全栈技术，涵盖PagedAttention、Flash Attention、GPTQ/AWQ量化、Continuous Batching等核心机制的原理与工程实践。
