MoE大模型专家并行与动态路由优化——从DeepSeek-V3到生产级推理架构
深入解析MoE稀疏激活架构下的Expert Parallelism设计，从原理推导到生产实战，涵盖Top-K Gating、Auxiliary Loss、All-to-All通信优化、Expert Offloading以及DeepSeek-V3的Aux-Free负载均衡策略。
分布式训练
分布式大模型训练 Checkpoint 工程——TB 级状态的高效保存、恢复与容错存储系统设计
深入剖析分布式大模型训练中 Checkpoint 系统的工程实现——从分片保存、异步重叠、分层存储到恢复精度验证，覆盖万亿参数模型 TB 级状态的高效保存与恢复全流程。
分布式训练并行策略体系：ZeRO / FSDP / 3D Parallelism / Pipeline Bubble 优化实战
大模型分布式训练并行策略深度实战——从ZeRO三阶段显存优化到FSDP工程实现，从张量并行与流水线并行的拓扑映射到Bubble消除策略（1F1B/Interleaved/ZBV），附生产级配置模板。
深入理解 Ring AllReduce：分布式训练通信优化的理论与实践
从底层原理到工程实践，深入剖析 Ring AllReduce 算法机制及 DeepSpeed ZeRO-DP 参数分片策略，提供千卡集群训练可落地的通信优化指南
Google TPU v6 (Trillium) 架构深度解析：从 MXU 矩阵引擎到 JAX 万卡分布式训练
深入解析 Google TPU v6 (Trillium) 的 MXU 脉动阵列微架构、ICI 芯片间互连拓扑、HBM 内存子系统，并结合 JAX/XLA 编译器实战万卡分布式训练的工程优化策略。
用 eBPF 构建分布式 AI 训练集群的实时可观测性平台
本文深入讲解如何利用 eBPF 在操作系统内核层面对分布式 AI 训练任务做零侵入式实时观测，覆盖 GPU 计算间隙、NCCL 通信模式、PyTorch DataLoader 延迟与 GPUDirect Storage 带宽瓶颈四大维度
JAX/XLA 编译器基础设施深度解析：从 Python 函数到分布式 GPU 代码的编译之旅
深入拆解 JAX 的编译流水线，从 trace 机制到 HLO 优化、从自动微分规则推导到 GSPMD 分区器，揭示这套系统如何将 Python 代码转化为跨数百个 TPU/GPU 运行的高性能计算图。
梯度提升树引擎深度工程实战：从加权分位数草图、直方图作差到 GPU 直方图构建与低延迟推理全链路
沿着 GBDT 引擎的执行链路拆解工程内核：加权分位数草图（GK summary）的分桶原理与 merge/prune 实现、直方图作差把一半构建成本抹掉的技巧、稀疏感知与默认方向、CatBoost 的 Ordered Target Statistics 与对称树无分支推理、分布式训练只传直方图的通信量下界分析、GPU 上 shared-memory 原子加直方图构建，以及 Treelite/FIL 把树编译成可执行代码的低延迟推理路径，并给出六条生产踩坑清单与选型建议。
AI大模型分布式训练：张量并行与流水线并行深度实践
深入拆解大模型训练的两大核心并行策略——张量并行与流水线并行。从矩阵分块原理、1F1B 调度算法到 Megatron-LM 工程实现，配合 PyTorch 代码实战，详解 TP × PP × DP 三维并行体系如何在 3072 张 GPU 上跑出近线性加速比。
GRPO 后训练系统工程实战：从 RLHF 偏好建模到可验证奖励的全链路架构
拆解 GRPO 后训练系统的工程内核：PPO Critic 为何在 LLM 场景失效、组内基线归一化与零标准差组的语义处理、token 级损失归一化如何消除长度偏置、可验证奖励（RLVR）与沙箱判定器设计、rollout-colocate 架构下的权重重分片与 logprob 对拍，附损失实现、verl 配置与生产坑位清单。
