FP8 混合精度训练工程实践：从 H100 到大模型训练的范式跃迁 深入解析 FP8 混合精度训练的硬件原理与生产实践，覆盖 E4M3/E5M2 格式设计、Loss Scaling 策略、Transformer Engine 实战、分布式训练协同优化，以及 Blackwell 未来展望。 机器学习 2026年10月01日 0 点赞 0 评论 61 浏览
梯度累积深度实战：从显存墙、小批量退化到有效批次与混合精度训练的协同工程 在大模型训练的工程现场，GPU 显存是最硬的约束。当你想用 128 的全局批量（global batch）去逼近论文里的收敛曲线，却发现单卡连 micro batch=8 都 OOM 时，梯度累积（Gradient Accumulation）几乎是唯一不依赖多机多卡就能"假装大批量"的手段。但它远不是"把 loss 除以 N 再累加起来"那么简单：Batch Normalization 的统计错位… 大语言模型 2026年10月08日 0 点赞 0 评论 16 浏览
