GPU 并行计算深度实战：从 CUDA 核心编程到内存层次的全栈优化
从GPU硬件微架构出发系统梳理CUDA编程核心抽象、内存层次优化策略以及性能调优方法论，覆盖SIMT模型、合并访问、Bank Conflict、Register Tiling、Tensor Core编程、Roofline分析等主题。
CUDA
FlashAttention 算法深度解析：从 IO-Aware 优化到 GPU 硬件极致
FlashAttention 通过 IO-Aware 的 Tiling + Recomputation 策略，将 Self-Attention 的 HBM 访问复杂度从 O(N²) 降至 O(N²/d)，在不牺牲数学精度的前提下实现 2-4× 端到端训练加速。本文深入推导 Online Softmax 数学基础、解析 FlashAttention/2/3 三代算法演进、剖析 Hopper/Tensor Core 适配优化，并给出一套完整的工程性能分析框架。
PyTorch 2 torch.compile 深度工程实战：Dynamo 追踪与 Inductor 后端优化全链路剖析
本文从编译器工程视角，完整拆解 Dynamo 的前端追踪机制、Graph Capture 中的 Graph Break 处理策略、以及 Inductor 后端的 lowering 与 Triton kernel 生成路径，结合生产环境性能调优实战，帮助工程师理解编译管线的每一层细节。
GPU 缺页中断与 CUDA Unified Memory — 从 HMM 框架到 AI 推理大显存管理的工程实践
深入解析 GPU MMU 页表管理与 CUDA Unified Memory 的按需页迁移机制，剖析 Linux 内核 HMM 框架的设计原理与 NVIDIA UVM 驱动实现，给出在 AI 推理生产环境中利用 UM 管理超大规模显存的实战方法论。
从第一性原理推导 Flash Attention：IO 复杂度、Tiling 策略与在线 Softmax 的数学工程
从第一性原理出发，深入推导 Flash Attention 的核心数学变换，分析 IO 复杂度下界，解析在线 Softmax 的修正引理，讨论 Tiling 策略、SRAM 分区与工程落地中的关键细节。覆盖 Flash Attention 1/2/3 的演进与不同硬件的调优参数。
AI训练数据加载管道：从存储到GPU的零拷贝预处理工程实战
深入解析AI训练数据加载管道的工程优化，涵盖GPUDirect Storage绕过CPU实现存储到GPU显存的零拷贝传输、NVIDIA DALI数据增强、基于io_uring的异步预取流水线架构、Rust零开销抽象在高性能数据加载器中的应用，以及生产环境中常见的I/O瓶颈诊断与调优方法。
GPUDirect RDMA：AI 推理集群零拷贝网络传输的工程实践
深入解析 GPUDirect RDMA 架构原理与 AI 推理集群工程实践，涵盖内核驱动实现、CUDA API 集成、NCCL RDMA 通道建立、性能调优与生产级容错设计
GPU 时间片调度与多租户推理隔离工程实践
深入剖析GPU多租户共享技术栈：从MPS轻量级并发到MIG硬件分区，从CUDA时间片抢占到推理引擎级Tag-Based公平调度。覆盖NVIDIA H100/Blackwell架构、vLLM、TensorRT-LLM等生产级架构实战。
RWKV-6：当 RNN 学会遗忘——线性注意力与 WKV 核的工程实现
从指数衰减到CUDA kernel，详解如何用 O(1) 内存完成百万 token 的生成式推理。深入RWKV-6的WKV递推机制、通道独立衰减的RNN改造、量化部署与工业级陷阱。
CUDA Tensor Memory Accelerator (TMA) 深度工程：Hopper 架构的异步张量搬运引擎
从硬件机制到 CuTe 编程模型，全方位拆解 NVIDIA Hopper 架构引入的 Tensor Memory Accelerator (TMA)。涵盖 cp.async.bulk、多维张量描述符、mbarrier 多级流水线同步，以及 TMA + WGMMA 协同实现 940+ TFLOPS 的工程实践。
