GPU 并行计算深度实战：从 CUDA 核心编程到内存层次的全栈优化
从GPU硬件微架构出发系统梳理CUDA编程核心抽象、内存层次优化策略以及性能调优方法论，覆盖SIMT模型、合并访问、Bank Conflict、Register Tiling、Tensor Core编程、Roofline分析等主题。
CUDA
FlashAttention 算法深度解析：从 IO-Aware 优化到 GPU 硬件极致
FlashAttention 通过 IO-Aware 的 Tiling + Recomputation 策略，将 Self-Attention 的 HBM 访问复杂度从 O(N²) 降至 O(N²/d)，在不牺牲数学精度的前提下实现 2-4× 端到端训练加速。本文深入推导 Online Softmax 数学基础、解析 FlashAttention/2/3 三代算法演进、剖析 Hopper/Tensor Core 适配优化，并给出一套完整的工程性能分析框架。
GPU 缺页中断与 CUDA Unified Memory — 从 HMM 框架到 AI 推理大显存管理的工程实践
深入解析 GPU MMU 页表管理与 CUDA Unified Memory 的按需页迁移机制，剖析 Linux 内核 HMM 框架的设计原理与 NVIDIA UVM 驱动实现，给出在 AI 推理生产环境中利用 UM 管理超大规模显存的实战方法论。
Pallas GPU 内核编程：XLA 编译器 + Hopper TMA 异步拷贝的 SMEM 流水线深度实战
Pallas 是 JAX/XLA 生态中用于编写高性能自定义 GPU 的底层编程模型，它通过 pallas_call 入口和 AsyncCopy 原语，让开发者既能利用 XLA 编译器的全局优化能力，又能精细控制 Hopper 架构的 Tensor Memory Accelerator (TMA) 硬件单元。
AI训练数据加载管道：从存储到GPU的零拷贝预处理工程实战
深入解析AI训练数据加载管道的工程优化，涵盖GPUDirect Storage绕过CPU实现存储到GPU显存的零拷贝传输、NVIDIA DALI数据增强、基于io_uring的异步预取流水线架构、Rust零开销抽象在高性能数据加载器中的应用，以及生产环境中常见的I/O瓶颈诊断与调优方法。
从第一性原理推导 Flash Attention：IO 复杂度、Tiling 策略与在线 Softmax 的数学工程
从第一性原理出发，深入推导 Flash Attention 的核心数学变换，分析 IO 复杂度下界，解析在线 Softmax 的修正引理，讨论 Tiling 策略、SRAM 分区与工程落地中的关键细节。覆盖 Flash Attention 1/2/3 的演进与不同硬件的调优参数。
CUDA Tensor Memory Accelerator (TMA) 深度工程：Hopper 架构的异步张量搬运引擎
从硬件机制到 CuTe 编程模型，全方位拆解 NVIDIA Hopper 架构引入的 Tensor Memory Accelerator (TMA)。涵盖 cp.async.bulk、多维张量描述符、mbarrier 多级流水线同步，以及 TMA + WGMMA 协同实现 940+ TFLOPS 的工程实践。
PyTorch 2 torch.compile 深度工程实战：Dynamo 追踪与 Inductor 后端优化全链路剖析
本文从编译器工程视角，完整拆解 Dynamo 的前端追踪机制、Graph Capture 中的 Graph Break 处理策略、以及 Inductor 后端的 lowering 与 Triton kernel 生成路径，结合生产环境性能调优实战，帮助工程师理解编译管线的每一层细节。
NVIDIA Grace Hopper NVLink-C2C 统一内存与 Linux 内核页迁移在 AI 推理工程中的深度实践
从硬件架构、Linux 内核页迁移机制、CUDA统一内存编程模型到AI推理场景实战优化，完整解析 NVIDIA Grace Hopper NVLink-C2C 统一内存技术栈。涵盖页迁移路径、访问计数器、内存建议API、预取策略、CUDA Graph整合、KV Cache零拷贝共享及性能基准测试。
GPUDirect RDMA：AI 推理集群零拷贝网络传输的工程实践
深入解析 GPUDirect RDMA 架构原理与 AI 推理集群工程实践，涵盖内核驱动实现、CUDA API 集成、NCCL RDMA 通道建立、性能调优与生产级容错设计
