大数据

Apache HDFS 存储引擎深度工程实战:从 NameNode 元数据内存模型、EditLog/FsImage、租约与块报告到写入管线恢复与短路读全链路

拆解 HDFS 的四个工程内核:NameNode 全内存 INode 树与 BlocksMap 为何不落盘、EditLog/FsImage 双文件持久化与 QJM 多数派 fencing、写路径的租约与管线三阶段恢复、读路径的短路读与块报告最终一致性,并给出七类生产故障排查清单。

Apache YARN 资源调度深度工程实战:从 RMApp/RMContainer 状态机、层级队列与 DRF 到心跳拉取式分配、抢占与生产故障全链路

拆解 YARN 调度内核的四层设计:RMApp/RMAppAttempt/RMContainer 三层状态机与事件驱动、层级队列与 DRF 主导资源公平的二维公平性计算、NM 心跳拉取式分配为何能撑到万级节点、Container 本地化与抢占信号语义,并给出六类生产故障模式的排查清单。