LLM 推理解耦架构:Prefill-Decode 分离的生产级吞吐工程实践 深入分析 LLM 生产中 Prefill-Decode 阶段的计算特征差异导致的资源冲突问题,系统阐述 Disaggregated Inference 架构的拓扑设计、KV Cache 传输协议实现,并给出 Prefill Worker、Decode Worker、传输引擎和智能调度器的完整生产级代码实现。包含四路 A100 实测性能基准与架构演进方向。 推理部署 2026年10月06日 0 点赞 0 评论 59 浏览
GPUDirect RDMA:AI 推理集群零拷贝网络传输的工程实践 深入解析 GPUDirect RDMA 架构原理与 AI 推理集群工程实践,涵盖内核驱动实现、CUDA API 集成、NCCL RDMA 通道建立、性能调优与生产级容错设计 分布式系统 2026年10月06日 0 点赞 0 评论 32 浏览
RDMA 编程实战:从 Verbs API 到单边零拷贝通信的生产级工程实践 从 Verbs API 出发,系统讲解 RDMA 编程的核心机制、实战代码模式和生产级部署考量,深入理解单边通信、内存注册、连接管理的工程本质。 开发工具 2026年10月07日 0 点赞 0 评论 29 浏览
Rust实现用户态NVMe-oF RDMA Target:从协议栈到生产级存储网络架构 深入解析NVMe over Fabrics协议规范,用Rust从零构建用户态RDMA Target,涵盖队列管理、内存注册、零拷贝数据传输、io_uring集成以及与SPDK的性能对比基准测试。 网络栈 2026年10月07日 0 点赞 0 评论 41 浏览
RoCE v2 拥塞控制深度剖析:DCQCN、ETS、PFC 联动调优 AI 分布式训练网络 深度解析 RoCE v2 拥塞控制完整体系:从 PFC 反压到 ECN 标记,再到 DCQCN 硬件速率调节,以及如何联合调优适配 AI 训练流量特征。涵盖 Incast 分析、交换机阈值公式、DCQCN 参数实战、TIMELY/HPCC 演进路线。 分布式系统 2026年10月07日 0 点赞 0 评论 25 浏览
分布式推理中的 KV Cache 管理与跨节点缓存共享:从理论到生产实践 深入探讨分布式推理系统中KV Cache的核心挑战、主流架构设计、传输协议实现以及生产环境优化策略。涵盖RDMA零拷贝传输、前缀缓存共享、一致性模型等关键技术,附完整代码示例与性能基准测试。 推理部署 2026年10月08日 0 点赞 0 评论 33 浏览
Linux内核PCIe子系统深度工程实战:从设备枚举到SR-IOV虚拟化与生产性能调优 深度剖析Linux内核PCIe子系统:PCIe协议三层模型与拓扑枚举流程,pci_dev/pci_bus核心数据结构,BAR配置与64位内存映射,MSI/MSI-X中断与亲和性,DMA三种映射类型与IOMMU隔离,ASPM电源管理与延迟权衡,AER错误分类与生产监控,SR-IOV虚拟化与VFIO直通,NTB/GPUDirect P2P通信,生产环境链路训练/中断风暴/NUMA优化三大案例,PCIe Gen6/CXL未来趋势 Linux内核 2026年10月09日 0 点赞 0 评论 16 浏览