GPU计算着色器与线程组执行模型深度解析：从SIMT波前调度到共享内存库冲突优化的GPU并行计算架构
从硬件视角解析GPU SIMT执行模型、线程层级、共享内存Bank冲突优化及内存合并访问策略。
Tensor Core
深入理解 GPU Tensor Core 架构与 CUDA 编程实战：从 Ampere 到 Blackwell 的 AI 高性能计算
从工业级 AI 计算的视角，系统性梳理 NVIDIA Tensor Core 的架构演进（Volta→Ampere→Hopper→Blackwell），深入讲解 CUDA WMMA API、Hopper TMA 异步拷贝、Warp Group wgmma 指令、共享内存 Swizzle、多级流水线设计，并提供 FP8 混合精度 GEMM 内核实战案例与 Nsight Compute 性能剖析指南。
CUDA Tensor Memory Accelerator (TMA) 深度工程：Hopper 架构的异步张量搬运引擎
从硬件机制到 CuTe 编程模型，全方位拆解 NVIDIA Hopper 架构引入的 Tensor Memory Accelerator (TMA)。涵盖 cp.async.bulk、多维张量描述符、mbarrier 多级流水线同步，以及 TMA + WGMMA 协同实现 940+ TFLOPS 的工程实践。
FlashAttention 算法深度解析：从 IO-Aware 优化到 GPU 硬件极致
FlashAttention 通过 IO-Aware 的 Tiling + Recomputation 策略，将 Self-Attention 的 HBM 访问复杂度从 O(N²) 降至 O(N²/d)，在不牺牲数学精度的前提下实现 2-4× 端到端训练加速。本文深入推导 Online Softmax 数学基础、解析 FlashAttention/2/3 三代算法演进、剖析 Hopper/Tensor Core 适配优化，并给出一套完整的工程性能分析框架。
