Inside FlashAttention-3：面向 Hopper 架构的 IO-Aware 精确注意力机制深度解析
FlashAttention-3 通过深度挖掘 NVIDIA Hopper GPU 的 TMA、异步事务屏障、warp 级矩阵运算等硬件特性，在不牺牲数值精度的前提下将 HBM 访问降低到理论下限的 1/4。本文从算法原理、硬件协同设计、工程实现三个维度揭开 FlashAttention-3 的底层逻辑。
深度学习
FP8 混合精度训练工程实践：从 H100 到大模型训练的范式跃迁
深入解析 FP8 混合精度训练的硬件原理与生产实践，覆盖 E4M3/E5M2 格式设计、Loss Scaling 策略、Transformer Engine 实战、分布式训练协同优化，以及 Blackwell 未来展望。
CUDA Warp 编程深度实战：从 Bank Conflict 到 Tensor Core 极限优化
深入NVIDIA GPU Warp级并行机制，从Bank Conflict原理到Tensor Core极限优化，涵盖Shared Memory架构、Warp分支发散、FP16矩阵乘实战案例及NSight Compute性能分析
JAX/XLA 编译器基础设施深度解析：从 Python 函数到分布式 GPU 代码的编译之旅
深入拆解 JAX 的编译流水线，从 trace 机制到 HLO 优化、从自动微分规则推导到 GSPMD 分区器，揭示这套系统如何将 Python 代码转化为跨数百个 TPU/GPU 运行的高性能计算图。
AI大模型分布式训练：张量并行与流水线并行深度实践
深入拆解大模型训练的两大核心并行策略——张量并行与流水线并行。从矩阵分块原理、1F1B 调度算法到 Megatron-LM 工程实现，配合 PyTorch 代码实战，详解 TP × PP × DP 三维并行体系如何在 3072 张 GPU 上跑出近线性加速比。
从零构建自动微分引擎：对偶数、计算图与反向传播的 Rust 深度实战
从零实现一个完整的自动微分引擎，深入理解对偶数、计算图构建、反向模式微分以及高阶导数的实现原理，用 Rust 实战演示 XOR 网络训练。
多模态大模型架构演进与视觉语言对齐技术深度解析
系统梳理多模态大模型架构演进、视觉语言对齐核心技术与当前研究前沿，涵盖CLIP、动态分辨率处理、多模态Agent等热点方向。
Rust 实现深度学习推理引擎：从计算图到异构硬件加速
从零构建Rust深度学习推理引擎：张量抽象、计算图拓扑排序、算子融合优化、内存Arena规划、CUDA/Metal多后端调度，以及Flash Attention与PagedAttention的工程实践。
LLM Tokenizer 深度工程实战：从 BPE 合并算法、预分词正则到压缩率与多语言词表设计的生产级全解
拆解 LLM 分词器的工程内核：BPE 合并的增量训练实现、GPT-2 预分词正则的设计动机（数字为何三位一组）、字节级回退的边界处理、tiktoken 风格并行预分词与块边界一致性、压缩率与生育率的量化评估方法，附多语言词表设计与生产坑位清单。
WebGPU 计算着色器深度实战：浏览器端 GPGPU 通用计算与深度学习推理
全面解析 WebGPU Compute Shader 编程模型：WGSL 着色器语言、Compute Pipeline 架构、Workgroup 内存优化、主机-设备数据交互实战。涵盖大规模矩阵乘法的 Tiling 优化、并行归约（Parallel Reduction）、2D 卷积GPU加速，以及与 CUDA/SYCL 的性能对比分析。
