JAX/XLA 编译器基础设施深度解析:从 Python 函数到分布式 GPU 代码的编译之旅 深入拆解 JAX 的编译流水线,从 trace 机制到 HLO 优化、从自动微分规则推导到 GSPMD 分区器,揭示这套系统如何将 Python 代码转化为跨数百个 TPU/GPU 运行的高性能计算图。 编译原理 2026年10月04日 0 点赞 0 评论 58 浏览
Google TPU v6 (Trillium) 架构深度解析:从 MXU 矩阵引擎到 JAX 万卡分布式训练 深入解析 Google TPU v6 (Trillium) 的 MXU 脉动阵列微架构、ICI 芯片间互连拓扑、HBM 内存子系统,并结合 JAX/XLA 编译器实战万卡分布式训练的工程优化策略。 分布式系统 2026年10月03日 0 点赞 0 评论 66 浏览
深入理解 Ring AllReduce:分布式训练通信优化的理论与实践 从底层原理到工程实践,深入剖析 Ring AllReduce 算法机制及 DeepSpeed ZeRO-DP 参数分片策略,提供千卡集群训练可落地的通信优化指南 分布式系统 2026年10月02日 0 点赞 0 评论 66 浏览
分布式训练并行策略体系:ZeRO / FSDP / 3D Parallelism / Pipeline Bubble 优化实战 大模型分布式训练并行策略深度实战——从ZeRO三阶段显存优化到FSDP工程实现,从张量并行与流水线并行的拓扑映射到Bubble消除策略(1F1B/Interleaved/ZBV),附生产级配置模板。 分布式系统 2026年10月02日 0 点赞 0 评论 69 浏览
GRPO 后训练系统工程实战:从 RLHF 偏好建模到可验证奖励的全链路架构 拆解 GRPO 后训练系统的工程内核:PPO Critic 为何在 LLM 场景失效、组内基线归一化与零标准差组的语义处理、token 级损失归一化如何消除长度偏置、可验证奖励(RLVR)与沙箱判定器设计、rollout-colocate 架构下的权重重分片与 logprob 对拍,附损失实现、verl 配置与生产坑位清单。 全栈开发 2026年10月01日 0 点赞 0 评论 47 浏览