GPU并行计算

Rust + CUDA IPC:多 GPU 间零拷贝张量通信工程实战

大规模 AI 模型训练与推理离不开多 GPU 协作。本文深入讲解 CUDA IPC 机制如何实现在同一节点内多 GPU 间零拷贝张量传递,并通过 Rust FFI 绑定给出完整工程实现,覆盖内存共享模型、事件同步、NVLink 拓扑感知、错误处理与 NCCL 集成。

KServe 推理服务自动伸缩与 GPU 调度治理(2025)

# KServe 推理服务自动伸缩与 GPU 调度治理(2025)## 一、架构与部署- 模型服务:`InferenceService` 定义接口与路由;支持 REST/gRPC。- 资源:为 `GPU` 设置 requests/limits 与节点选择器;隔离不同模型的资源。- 存储:模型拉取与缓存策略,减少启动时延。## 二、自动伸缩与队列- Autoscaling:按 QPS