分布式系统

Erlang BEAM 运行时深度工程实战:从归约计数抢占式调度、每进程分代 GC 到软实时与分布式容错的全链路解析

沿真实工程链路拆开 Erlang BEAM:为什么归约计数(reduction counting)把抢占从内核时间片变成可预算的语言语义,per-process 分代 GC 如何让暂停时间与系统总内存解耦,dirty scheduler 与 NIF/Port 该如何选型以避免拖垮调度器,以及 refc binary 泄漏、选择性接收 O(n) 扫描、无背压消息队列等生产陷阱与监督树容错策略,并给出可直接落地的 VM 调参清单与排障路径。

大模型分布式训练并行与显存工程实战:从 ZeRO 分片、FSDP 扁平参数到激活重计算与通信重叠全链路

沿真实工程决策链拆解大模型分布式训练:先算清混合精度 AdamW 的 16 字节/参数显存账本,再区分 DP/TP/PP 三种并行各自解决的维度,深入 ZeRO 三级分片与 FSDP FlatParameter 编排(含 70B 在 64 卡上的单卡显存实测表),给出选择性激活重计算的算力-显存兑换率与 use_reentrant 陷阱,最后落到 prefetch、bucket 与梯度累积 no_sync 的通信-计算重叠实战。

分布式故障检测深度工程实战:从心跳超时、Phi 累积检测器到 SWIM 与 Gossip 成员协议的生产级调优

从 O(n²) 心跳的复杂度推导出发,给出 Phi 累积故障检测器的完整 Go 实现、SWIM 三段式协议(随机探测/怀疑机制/感染式传播)的时序与 O(log n) 传播数学、HashiCorp Lifeguard 的四处关键修补,以及可直接落地的生产参数表与四类典型故障模式对策。