分布式训练
  1. 首页
  2. 分布式训练

列表

大模型分布式训练并行与显存工程实战：从 ZeRO 分片、FSDP 扁平参数到激活重计算与通信重叠全链路

大模型分布式训练并行与显存工程实战：从 ZeRO 分片、FSDP 扁平参数到激活重计算与通信重叠全链路

沿真实工程决策链拆解大模型分布式训练：先算清混合精度 AdamW 的 16 字节/参数显存账本，再区分 DP/TP/PP 三种并行各自解决的维度，深入 ZeRO 三级分片与 FSDP FlatParameter 编排（含 70B 在 64 卡上的单卡显存实测表），给出选择性激活重计算的算力-显存兑换率与 use_reentrant 陷阱，最后落到 prefetch、bucket 与梯度累积 no_sync 的通信-计算重叠实战。
分布式系统 2026年10月06日
GRPO 后训练系统工程实战：从 RLHF 偏好建模到可验证奖励的全链路架构

GRPO 后训练系统工程实战：从 RLHF 偏好建模到可验证奖励的全链路架构

拆解 GRPO 后训练系统的工程内核：PPO Critic 为何在 LLM 场景失效、组内基线归一化与零标准差组的语义处理、token 级损失归一化如何消除长度偏置、可验证奖励（RLVR）与沙箱判定器设计、rollout-colocate 架构下的权重重分片与 logprob 对拍，附损失实现、verl 配置与生产坑位清单。
全栈开发 2026年10月01日
梯度提升树引擎深度工程实战：从加权分位数草图、直方图作差到 GPU 直方图构建与低延迟推理全链路

梯度提升树引擎深度工程实战：从加权分位数草图、直方图作差到 GPU 直方图构建与低延迟推理全链路

沿着 GBDT 引擎的执行链路拆解工程内核：加权分位数草图（GK summary）的分桶原理与 merge/prune 实现、直方图作差把一半构建成本抹掉的技巧、稀疏感知与默认方向、CatBoost 的 Ordered Target Statistics 与对称树无分支推理、分布式训练只传直方图的通信量下界分析、GPU 上 shared-memory 原子加直方图构建，以及 Treelite/FIL 把树编译成可执行代码的低延迟推理路径，并给出六条生产踩坑清单与选型建议。
实时计算 2026年10月05日