系统内核

大模型分布式训练并行与显存工程实战:从 ZeRO 分片、FSDP 扁平参数到激活重计算与通信重叠全链路

沿真实工程决策链拆解大模型分布式训练:先算清混合精度 AdamW 的 16 字节/参数显存账本,再区分 DP/TP/PP 三种并行各自解决的维度,深入 ZeRO 三级分片与 FSDP FlatParameter 编排(含 70B 在 64 卡上的单卡显存实测表),给出选择性激活重计算的算力-显存兑换率与 use_reentrant 陷阱,最后落到 prefetch、bucket 与梯度累积 no_sync 的通信-计算重叠实战。

eBPF技术全景——从内核观测到网络加速的实战指南

eBPF(Extended Berkeley Packet Filter)是Linux内核中最具革命性的技术之一。本文从eBPF架构原理出发,深入讲解BPF Verifier安全机制、Map数据结构、XDP/TC网络加速、kprobe/uprobe动态追踪、perf_event性能分析,并提供完整的Go语言实战指南。