分布式系统

1. 首页
2. 系统内核
3. 分布式系统

大模型分布式训练并行与显存工程实战：从 ZeRO 分片、FSDP 扁平参数到激活重计算与通信重叠全链路

沿真实工程决策链拆解大模型分布式训练：先算清混合精度 AdamW 的 16 字节/参数显存账本，再区分 DP/TP/PP 三种并行各自解决的维度，深入 ZeRO 三级分片与 FSDP FlatParameter 编排（含 70B 在 64 卡上的单卡显存实测表），给出选择性激活重计算的算力-显存兑换率与 use_reentrant 陷阱，最后落到 prefetch、bucket 与梯度累积 no_sync 的通信-计算重叠实战。

分布式系统 2026年10月06日 0 点赞 0 评论 33 浏览

工业级 Raft 共识协议工程实战：从 Multi-Raft 分片到线性一致读的延迟优化路径

深入剖析工业级 Raft 实现的核心挑战与性能突破路径：从 Multi-Raft 分片架构，到 ReadIndex/Lease Read 线性一致读优化、流水线化日志复制与异步 Apply 等关键技术。

分布式系统 2026年10月05日 0 点赞 0 评论 35 浏览

MoE 大规模分布式推理工程实战：从 All-to-All 通信到动态专家放置

深入拆解 MoE（Mixture of Experts）大规模分布式推理的工程实现：All-to-All 通信优化、DualPipe 架构、专家复制与放置策略、动态负载均衡、容错恢复机制，以及基于 DeepSeek-V3 的生产部署经验。

分布式系统 2026年10月05日 0 点赞 0 评论 38 浏览

用消费级游戏GPU搭建AI训练集群：从硬件选型到分布式训练的完全实战

完整记录从零搭建4卡RTX 4090 AI训练节点的全过程，涵盖硬件选型、散热设计、NCCL通信优化、PyTorch分布式训练配置，以及实际跑通LLaMA-3 70B QLoRA微调的经验，包含完整的代码示例和性能基准测试数据。

分布式系统 2026年10月04日 0 点赞 0 评论 41 浏览

分布式系统Raft共识算法深度实战：从理论到工程实践

深入解析Raft共识算法的核心原理与工程实践

分布式系统 2026年10月04日 0 点赞 0 评论 31 浏览

分布式锁的工程实践深度剖析 — 从 Redlock 争议到 Fencing Token 的生产级安全

深入剖析分布式锁的工程实践：从 Redis SETNX 到 Redlock 争议，再到基于 fencing token 的生产级安全方案，附带 Rust etcd 的完整实现代码。

分布式系统 2026年10月04日 0 点赞 0 评论 43 浏览

从 OpenTelemetry 到因果推断：分布式追踪系统的采样策略与 Root Cause 分析工程实战

深度解析分布式追踪系统的工程核心：从采样策略（头部/尾部/自适应）到因果推断驱动的根因分析，涵盖OpenTelemetry数据模型、Trace存储引擎选型对比、ClickHouse实战建表方案、预算感知采样与分层采样策略，以及Trace与Profiling联动定位代码级瓶颈。

分布式系统 2026年10月04日 0 点赞 0 评论 55 浏览

分布式大模型训练 Checkpoint 工程——TB 级状态的高效保存、恢复与容错存储系统设计

深入剖析分布式大模型训练中 Checkpoint 系统的工程实现——从分片保存、异步重叠、分层存储到恢复精度验证，覆盖万亿参数模型 TB 级状态的高效保存与恢复全流程。

分布式系统 2026年10月04日 0 点赞 0 评论 70 浏览

分布式故障检测深度工程实战：从心跳超时、Phi 累积检测器到 SWIM 与 Gossip 成员协议的生产级调优

从 O(n²) 心跳的复杂度推导出发，给出 Phi 累积故障检测器的完整 Go 实现、SWIM 三段式协议（随机探测/怀疑机制/感染式传播）的时序与 O(log n) 传播数学、HashiCorp Lifeguard 的四处关键修补，以及可直接落地的生产参数表与四类典型故障模式对策。

分布式系统 2026年10月04日 0 点赞 0 评论 46 浏览

分布式系统 Raft 一致性算法：从理论到工程落地

分布式系统 Raft 一致性算法：从理论到工程落地

分布式系统 2026年10月04日 0 点赞 0 评论 35 浏览

RDMA 深度实战：InfiniBand、RoCE、iWARP 从零拷贝到分布式存储与 AI 训练集群

从内核旁路与零拷贝原理出发，全面剖析 RDMA 三种主流实现（InfiniBand/RoCE/iWARP）的协议栈、硬件架构与性能特征，深入讲解 Verbs API 编程模型、QP/CQ/MR 核心机制，并附生产级实战：分布式存储引擎加速、NCCL GPUDirect RDMA、集群通信延迟优化。

分布式系统 2026年10月03日 0 点赞 0 评论 38 浏览

异构AI集群的统一调度：跨NVIDIA/AMD/Intel GPU的资源抽象与负载均衡工程实践

深度探讨异构AI集群统一调度的工程实践，涵盖GPU资源抽象、感知调度算法、碎片管理、运行时QoS保障，以及跨NVIDIA/AMD/Intel架构的实战经验与反模式分析。

分布式系统 2026年10月03日 0 点赞 0 评论 38 浏览

用 Rust 编写经过形式化验证的分布式共识协议：从 TLA+ Spec 到可编译代码

探索如何用 Rust 生态的形式化验证工具（Session Types、Prusti、Kani）弥合 TLA+ 规约与实际代码之间的鸿沟，实现编译期可证明正确的分布式共识协议。

分布式系统 2026年10月03日 0 点赞 0 评论 61 浏览

AI 推理服务生产化实战：从 Jupyter Notebook 到高可用推理集群

从 Jupyter Notebook 到生产级推理平台的完整工程路线图：覆盖多模型共享推理引擎、Continuous Batching 调优、基于排队论的自适应扩缩容、GPU 显存碎片整理与 KV Cache 管理、模型热更新与灰度发布、三级缓存架构与成本优化策略。

分布式系统 2026年10月03日 0 点赞 0 评论 53 浏览

分布式系统容错设计深度实战：从理论模型到生产级弹性架构落地的完整指南

深入解析分布式系统中的核心容错模式与弹性工程实践，涵盖故障传播分析、断路器模式、重试风暴防护、舱壁隔离、优雅降级、分布式一致性权衡、混沌工程及生产级弹性架构完整实现。

分布式系统 2026年10月03日 0 点赞 0 评论 59 浏览