Inside FlashAttention-3：面向 Hopper 架构的 IO-Aware 精确注意力机制深度解析
FlashAttention-3 通过深度挖掘 NVIDIA Hopper GPU 的 TMA、异步事务屏障、warp 级矩阵运算等硬件特性，在不牺牲数值精度的前提下将 HBM 访问降低到理论下限的 1/4。本文从算法原理、硬件协同设计、工程实现三个维度揭开 FlashAttention-3 的底层逻辑。
CUDA
GPU Direct Storage：GPU 直接存储访问在 AI 推理数据管道中的工程实践
GDS让GPU显存直接与NVMe控制器建立DMA链路。深入剖析nvidia-fs驱动架构、cuFile API异步批量提交、GPU内存注册双缓冲策略，结合PyTorch容器化部署给出性能调优参数矩阵。
TensorRT-LLM 深度工程实践：从模型到生产级推理服务
深度剖析 TensorRT-LLM 架构设计哲学、编译-运行时协作模式、跨算子融合、请求调度、KV Cache 管理与并行策略优化，含与 vLLM 对比及生产级部署实践。
渐进式模型热更新：基于 CUDA IPC 与权重原子交换的 LLM 零停机部署工程实践
探讨如何利用 CUDA IPC 显存共享和双缓冲原子交换实现 LLM 推理服务的零停机模型更新。包含 C++ RAII 封装、VersionedTensor 引用计数、多 GPU 零拷贝同步等实现细节，以及基于 vLLM 的改造实践和自动回滚机制。
vLLM 核心工程深度剖析：PagedAttention 与 KV Cache 调度如何重塑 LLM 推理基础设施
从操作系统内存管理思想切入，深度剖析vLLM PagedAttention核心机制：逻辑块/物理块分离、块表间接寻址、CoW并行采样、前缀缓存哈希索引，以及生产部署调优指南（含与SGLang RadixAttention对比）。
从GPU内核到Token延迟：eBPF在LLM推理可观测性中的工程实践
如何利用eBPF从内核态穿透到GPU驱动层，构建LLM推理全链路可观测性体系。涵盖CUDA kernel追踪、TTFT/TPOT指标分析、多租户GPU争用分析及实战案例。
FlashAttention V3 实战：Hopper 架构下的 Paged KV Cache 协同优化
深入剖析 FlashAttention V3 在 Hopper 架构下通过 TMA 和 Warp Specialization 实现 Attention 计算极致优化，以及 Paged KV Cache 在 LLM 推理服务中的协同工程实践。含 CUDA 代码示例与实测性能对比。
CUDA Unified Memory 深度工程：虚拟内存管理、页面迁移与 OOM 治理实战
深入剖析CUDA Unified Memory的内部机制、页面迁移策略、VMM虚拟内存管理API以及生产环境中的OOM治理方案。涵盖从CUDA 6到CUDA 12的内存模型演进、GPU缺页中断、cuMemAdvise/cuMemPrefetchAsync优化、Split Migration以及自研显存管理器的实战代码。
Linux Kernel HMM 深度工程实战：CPU-GPU 统一虚拟地址空间从原理到驱动实现
深入解析 Linux 内核 HMM 子系统架构，拆解镜像页表、mmu_notifier 回调、migrate_vma 页面迁移协议，提供 GPU 驱动骨架代码。
Mamba 状态空间模型：从理论到生产级推理的 CUDA 内核优化实战
深入解析Mamba状态空间模型的核心原理与生产级推理部署：从选择性机制的数学基础，到Scan算法的硬件感知设计，再到CUDA/Triton内核优化实战。涵盖Mamba2的SSD理论、状态缓存优化、投机解码兼容性，以及在百万token长序列场景下的性能基准。
