分布式系统

大模型分布式训练并行与显存工程实战:从 ZeRO 分片、FSDP 扁平参数到激活重计算与通信重叠全链路

沿真实工程决策链拆解大模型分布式训练:先算清混合精度 AdamW 的 16 字节/参数显存账本,再区分 DP/TP/PP 三种并行各自解决的维度,深入 ZeRO 三级分片与 FSDP FlatParameter 编排(含 70B 在 64 卡上的单卡显存实测表),给出选择性激活重计算的算力-显存兑换率与 use_reentrant 陷阱,最后落到 prefetch、bucket 与梯度累积 no_sync 的通信-计算重叠实战。

分布式缓存架构实战:Redis Cluster集群部署/缓存一致性协议/穿透&击穿&雪崩全链路防护

全面解析分布式缓存架构设计与实战,涵盖Redis Cluster集群部署、哈希槽分片机制、四种缓存更新策略深度对比、基于Canal的binlog订阅实现最终一致性,以及缓存穿透/击穿/雪崩三大问题的全链路防护方案(缓存空值+布隆过滤器+互斥锁+逻辑过期+TTL随机偏移+多级缓存+熔断降级)。