深入理解 Ring AllReduce：分布式训练通信优化的理论与实践 从底层原理到工程实践，深入剖析 Ring AllReduce 算法机制及 DeepSpeed ZeRO-DP 参数分片策略，提供千卡集群训练可落地的通信优化指南 分布式系统 2026年10月02日 0 点赞 0 评论 66 浏览
NCCL 多 GPU 通信优化：Ring AllReduce 与 Tree AllReduce 算法深度工程实战 深入剖析 NCCL 中 Ring AllReduce、Tree AllReduce、Ring Tree Hybrid 三种核心算法的实现原理、带宽模型与拓扑自适应策略，结合多卡集群部署的性能调优案例，揭示如何在一机多卡、多机多卡场景下实现接近线性的扩展效率。 算法与数据结构 2026年10月06日 0 点赞 0 评论 42 浏览
