NUMA 亲和性、进程绑核与跨 Socket 延迟优化实践

本文聚焦 Linux 服务器在多 NUMA 节点（Socket）下的性能与延迟优化：以可复现的工具与命令观测本地/远端内存访问差异，指导关键服务的 CPU/内存亲和与部署策略。

## 拓扑与现状观测

lscpu --extended=CPU,SOCKET,NODE   # CPU/Socket/Numa 映射
numactl --hardware                 # 每节点内存容量与距离矩阵
numastat                           # 本地/远端内存访问统计

说明：多数双路平台远端内存访问的平均延迟显著高于本地（常见差异 1.3–2.0×，视架构与频率而定），需基于拓扑合理部署进程与线程。

## 延迟测试（lat_mem_rd）

# 安装 numactl 工具后提供
lat_mem_rd 128 8192 -P 1 -N 0   # Node0 本地读延迟
lat_mem_rd 128 8192 -P 1 -N 1   # Node1 远端读延迟（在 Node0 上绑定）

观察：对比本地与远端的 ns/us 级延迟，验证平台差异并据此设定服务的亲和策略。

## 进程与内存绑定

# 仅绑定 CPU（亲和到 Node0 的核）
taskset --cpu-list 0-15 ./service

# 同时绑定 CPU 与内存到 Node0
numactl --cpunodebind=0 --membind=0 ./service

# 线程池型服务示例（按核心分组）
numactl --physcpubind=0-7 --membind=0 ./worker-a &
numactl --physcpubind=8-15 --membind=1 ./worker-b &
wait

要点：对于内存访问密集型服务，优先使用 `--membind` 保证本地内存；跨 Socket 的线程分组可降低互抢与远端访问。

## 与自动 NUMA 平衡的协同

• `auto numa balancing` 可能迁移页以优化整体，但对低延迟服务会引入抖动；可在关键服务容器/命名空间内禁用或收敛影响。
• 验证方法：在绑定策略下观察 `numastat` 与服务尾延迟；若出现频繁远端访问增长，需调整策略或降低线程迁移。

## 数据库与缓存服务建议

• 将主 IO 线程与缓存页绑定到同一节点；将后端异步任务（压缩/清理）放在次节点以减少干扰。
• 对外网络与存储中断设置亲和，避免所有中断集中在单核导致排队与尾延迟升高。

## 结语

在多 NUMA 节点平台上，CPU/内存亲和的正确设置可显著降低远端访问造成的尾延迟与抖动。通过可复现的拓扑观测与延迟测试，结合绑核与页绑定策略，关键服务可获得稳定的延迟与带宽表现。