MoE 专家并行深潜:从 All-to-All 通信瓶颈到 DeepEP 的工程突围 从 MoE 层的两次 All-to-All 出发量化分析专家并行的通信瓶颈,解析路由负载均衡、capacity 截断、EP 与 TP 的适用性差异,以及 DeepEP 的双域 buffer、纯 RDMA 低延迟 kernel 与通信计算重叠设计,并给出生产环境落地 checklist。 大语言模型 2026年09月29日 0 点赞 0 评论 77 浏览
RDMA 编程实战:从 Verbs API 到零拷贝分布式系统架构 RDMA编程深度实战:从Verbs API到零拷贝分布式系统架构。涵盖RDMA核心概念、QP状态机、批量提交与Doorbell优化、ODP内存管理、内存窗口与FMR策略,以及NCCL在AI训练集群中的RDMA传输层原理,配套完整C语言代码示例。 分布式系统 2026年10月03日 0 点赞 0 评论 71 浏览
Linux RDMA 深度实战:RoCE v2 与 InfiniBand 内核协议栈剖析及零拷贝网络编程指南 从RDMA核心原理出发,深度剖析Linux内核InfiniBand/RoCE v2协议栈、verbs API编程模型、Queue Pair状态机、DMA注册与内存区域管理、保护域与完成队列、SR-IOV虚拟化、用户态verbs驱动(mtkverbs/uverbs)、如何从零构建RDMA应用。 网络栈 2026年09月30日 0 点赞 0 评论 70 浏览
NVMe over Fabrics (NVMe-oF) 深度实战:从协议原理到生产级远程存储架构 NVMe-oF 是现代数据中心高性能远程存储的核心协议。本文从 NVMe 基础出发,深入 NVMe-oF 协议栈,对比 RDMA/TCP/FC 三种传输方式,手把手完成生产级 NVMe-oF target 搭建,并讨论性能调优陷阱和前沿演进方向。 安全与虚拟化 2026年09月30日 0 点赞 0 评论 64 浏览
LLM推理PD分离架构深度工程实践:从Prefill-Decode异构到分布式KV Cache传输 深入剖析LLM推理PD分离架构的工程实践:从Prefill-Decode异构到分布式KV Cache传输,涵盖DistServe、Mooncake、NVIDIA Dynamo等系统的设计原理与传输协议优化。 推理部署 2026年10月01日 0 点赞 0 评论 59 浏览
LLM 推理解耦架构:Prefill-Decode 分离的生产级吞吐工程实践 深入分析 LLM 生产中 Prefill-Decode 阶段的计算特征差异导致的资源冲突问题,系统阐述 Disaggregated Inference 架构的拓扑设计、KV Cache 传输协议实现,并给出 Prefill Worker、Decode Worker、传输引擎和智能调度器的完整生产级代码实现。包含四路 A100 实测性能基准与架构演进方向。 推理部署 2026年10月06日 0 点赞 0 评论 59 浏览
深入 GPUDirect RDMA:GPU 与网卡之间的零拷贝数据通路深度工程实战 深入解析 GPUDirect RDMA 技术栈:从 PCIe P2P 通信、IOMMU/SVA 机制、nvidia-peermem 内核模块到 NCCL RDMA 路径实现,完整呈现 GPU 与网卡零拷贝数据通路的工程全貌与生产调优实践。 工程实践 2026年09月30日 0 点赞 0 评论 54 浏览
RDMA 深度工程实战:从 Verbs 内存语义到 AI 训练集群零拷贝网络的全栈实践 从 Verbs 对象模型出发,完整拆解 RDMA 的 PD/MR/QP/CQ 体系与 RC 连接状态机,给出可运行的单边写与立即数通知代码,并深入内存注册成本、DCQCN 拥塞控制、PFC 死锁、GPUDirect RDMA 与 NCCL Ring AllReduce 工程实践,最后给出生产避坑清单。 全栈开发 2026年09月29日 0 点赞 0 评论 50 浏览
RDMA远程直接内存访问:从零拷贝原理到InfiniBand/RoCE的网络架构实践 全面解析RDMA技术原理、三种传输协议对比、Verbs编程模型,以及在分布式存储、AI训练集群中的工程实践与性能调优。 网络技术 2026年09月20日 0 点赞 0 评论 49 浏览
Rust实现用户态NVMe-oF RDMA Target:从协议栈到生产级存储网络架构 深入解析NVMe over Fabrics协议规范,用Rust从零构建用户态RDMA Target,涵盖队列管理、内存注册、零拷贝数据传输、io_uring集成以及与SPDK的性能对比基准测试。 网络栈 2026年10月07日 0 点赞 0 评论 41 浏览