CXL 内存扩展在 AI 训练中的实践：梯度检查点、优化器状态与生产部署
深入剖析 CXL (Compute Express Link) 内存在 AI 训练工作负载中的架构设计与工程实践，涵盖 ZeRO-Infinity offload 策略、PyTorch 自定义 CXL 分配器、性能基准测试以及与 HBM/NVMe 的层级对比。
ZeRO
分布式训练并行策略体系：ZeRO / FSDP / 3D Parallelism / Pipeline Bubble 优化实战
大模型分布式训练并行策略深度实战——从ZeRO三阶段显存优化到FSDP工程实现，从张量并行与流水线并行的拓扑映射到Bubble消除策略（1F1B/Interleaved/ZBV），附生产级配置模板。
深入理解 Ring AllReduce：分布式训练通信优化的理论与实践
从底层原理到工程实践，深入剖析 Ring AllReduce 算法机制及 DeepSpeed ZeRO-DP 参数分片策略，提供千卡集群训练可落地的通信优化指南
大模型分布式训练并行与显存工程实战：从 ZeRO 分片、FSDP 扁平参数到激活重计算与通信重叠全链路
沿真实工程决策链拆解大模型分布式训练：先算清混合精度 AdamW 的 16 字节/参数显存账本，再区分 DP/TP/PP 三种并行各自解决的维度，深入 ZeRO 三级分片与 FSDP FlatParameter 编排（含 70B 在 64 卡上的单卡显存实测表），给出选择性激活重计算的算力-显存兑换率与 use_reentrant 陷阱，最后落到 prefetch、bucket 与梯度累积 no_sync 的通信-计算重叠实战。
