NVMe

AI训练数据加载管道:从存储到GPU的零拷贝预处理工程实战

深入解析AI训练数据加载管道的工程优化,涵盖GPUDirect Storage绕过CPU实现存储到GPU显存的零拷贝传输、NVIDIA DALI数据增强、基于io_uring的异步预取流水线架构、Rust零开销抽象在高性能数据加载器中的应用,以及生产环境中常见的I/O瓶颈诊断与调优方法。

近数据计算架构:Linux 块层与 NVMe 计算存储协议深度解析

> **摘要**:当 AI 集群的数据搬运开销超过计算本身,传统"CPU 中心"架构已触及内存墙与功耗墙。本文从 Linux 块层子系统出发,深入剖析 NVMe 计算存储(Computational Storage)协议栈的演进路径,结合 io_uring 与 SPDK 实战案例,揭示近数据计算(Near-Data Processing)如何从论文走向生产。

io_uring:Linux 异步 IO 的革命性演进

深入剖析 Linux io_uring 异步 IO 框架的架构设计、核心数据结构、内核实现细节,并结合实际代码案例展示其在存储、网络、事件循环等场景下的工程应用。

io_uring深度实战:从内核异步IO革命到生产级高性能架构

Linux io_uring深度实战:从内核异步IO革命到生产级高性能架构。涵盖核心架构、提交模式、Fixed Files、Buffer Registration、链式操作、Multishot Accept、性能基准测试(NVMe P99延迟仅12μs,CPU开销降低71%)、MySQL/PG生产案例、安全分析与AI推理平台的I/O栈重构。