并行计算

深入理解 GPU Tensor Core 架构与 CUDA 编程实战:从 Ampere 到 Blackwell 的 AI 高性能计算

从工业级 AI 计算的视角,系统性梳理 NVIDIA Tensor Core 的架构演进(Volta→Ampere→Hopper→Blackwell),深入讲解 CUDA WMMA API、Hopper TMA 异步拷贝、Warp Group wgmma 指令、共享内存 Swizzle、多级流水线设计,并提供 FP8 混合精度 GEMM 内核实战案例与 Nsight Compute 性能剖析指南。

WebGPU 下一代 GPU 编程接口深度实战:从 WGSL 着色器语言到计算管线、并行图像处理与生产级 Web 端 ML 推理部署的完全工程指南

WebGPU 作为 WebGL 的下一代替代标准,引入了现代 GPU 编程范式的全部能力:显式资源管理、计算着色器、Bindless 资源模型、显式同步与零开销抽象。本文从为什么需要 WebGPU 出发,系统讲解 WGSL 着色器语言、设备与资源管理、渲染管线与间接绘制、并行计算管线(工作组/共享内存/规约算法)、图像卷积与 CV 算子实战、ORT-Web/Stable Diffusion WebGPU 端推理部署,以及性能调优与可观测性,最后展望 Subgroups、Bindless、ML GPU 后端等标准演进,是 Web 端 GPU 编程从理论到生产部署的完全指南。

大模型分布式训练并行与显存工程实战:从 ZeRO 分片、FSDP 扁平参数到激活重计算与通信重叠全链路

沿真实工程决策链拆解大模型分布式训练:先算清混合精度 AdamW 的 16 字节/参数显存账本,再区分 DP/TP/PP 三种并行各自解决的维度,深入 ZeRO 三级分片与 FSDP FlatParameter 编排(含 70B 在 64 卡上的单卡显存实测表),给出选择性激活重计算的算力-显存兑换率与 use_reentrant 陷阱,最后落到 prefetch、bucket 与梯度累积 no_sync 的通信-计算重叠实战。