Triton GPU编程语言深度实战：从矩阵乘法到Flash Attention、内核融合与AI编译器优化的完全工程指南
Triton是由OpenAI开发的开源GPU编程语言，提供类似Python的高级语法同时达到接近手写CUDA的性能。本文深入讲解Triton的编程模型、矩阵乘法优化、Flash Attention实现、内核融合技术以及在PyTorch生产环境中的最佳实践。
PyTorch
PyTorch 2.0 Compiler 深度剖析：从 TorchDynamo FX Graph 到 TorchInductor Triton CodeGen 的完全工程指南
PyTorch 2.0 Compiler 深度剖析：从 TorchDynamo Python 字节码拦截、FX Graph 中间表示捕获、AOTAutograd 自动微分分解、TorchInductor Triton CodeGen GPU 内核代码生成、算子融合与内存优化、CUDA Graph 捕获、动态形状支持、分布式并行编译、到生产级部署与性能基准测试的完整工程指南。
大模型蒸馏与小型化深度工程实战：从 Logit、中间特征对齐到合成数据流水线的生产级全解
拆解大模型蒸馏的四类知识表示（Logit/特征/关系/偏好）、温度与梯度 T^2 刻度的真实数学、中间层维度不匹配的投影对齐与关系蒸馏、在线自蒸馏的算力权衡，以及决定蒸馏上限的合成数据流水线：种子分层、拒绝采样验证器、MinHash 去重、难度课程化与评测去污染，附 PyTorch 可运行代码与生产陷阱清单。
分布式大模型训练 Checkpoint 工程——TB 级状态的高效保存、恢复与容错存储系统设计
深入剖析分布式大模型训练中 Checkpoint 系统的工程实现——从分片保存、异步重叠、分层存储到恢复精度验证，覆盖万亿参数模型 TB 级状态的高效保存与恢复全流程。
用消费级游戏GPU搭建AI训练集群：从硬件选型到分布式训练的完全实战
完整记录从零搭建4卡RTX 4090 AI训练节点的全过程，涵盖硬件选型、散热设计、NCCL通信优化、PyTorch分布式训练配置，以及实际跑通LLaMA-3 70B QLoRA微调的经验，包含完整的代码示例和性能基准测试数据。
Rust-PyTorch 零拷贝张量桥接与异步推理管线工程实战
深入剖析通过Rust FFI桥接PyTorch C++后端实现零拷贝张量传递与异步推理管线的工程方案，包含混合调度器设计、CUDA上下文管理、eBPF延迟追踪等实战经验，以及与Triton Inference Server的性能对比数据。
PyTorch 2.x torch.compile 与 Inductor 后端深度工程：从 FX Graph 到 Triton kernel 的 AI 推理全栈优化
深入拆解 PyTorch 2.x torch.compile 的完整技术栈——从 TorchDynamo 的 Python 字节码拦截到 Inductor 的 Triton kernel 代码生成，结合生产级推理部署经验，给出可落地的工程指南。
PyTorch 2 torch.compile 深度工程实战：Dynamo 追踪与 Inductor 后端优化全链路剖析
本文从编译器工程视角，完整拆解 Dynamo 的前端追踪机制、Graph Capture 中的 Graph Break 处理策略、以及 Inductor 后端的 lowering 与 Triton kernel 生成路径，结合生产环境性能调优实战，帮助工程师理解编译管线的每一层细节。
GPU 显存碎片化深度实战：从 Buddy 分配器、expandable_segments 到碎片率治理与 CUDA OOM 修复
每一个在 A100/H100 上跑过大模型训练或长上下文推理的工程师，大概率都见过这样一个让人抓狂的报错：
反向传播算法深度实战：从链式法则到现代深度学习引擎
从微积分链式法则出发，详解反向传播算法的数学原理与工程实现，涵盖PyTorch autograd引擎、梯度消失/爆炸解决方案、混合精度训练、Feedback Alignment与Z-Prop等现代变体，附完整NumPy实现。
