NUMA 线程亲和与跨节点访问优化：numactl 与 taskset 可验证实践

多路服务器下，NUMA（非一致性内存访问）会导致跨节点访问延迟显著增加。本文通过 `numactl/taskset` 绑定线程与内存，实测与观察差异并给出落地建议。

## 环境与前提

• Linux（kernel 4.18+），安装 `numactl` 与 `perf`。
• 至少 2 节点 NUMA（如双路 CPU）。

## 查看拓扑（可复现）

numactl --hardware

示例输出包含：节点数量、每节点内存大小、CPU 亲和掩码。

## 绑定 CPU 与内存

# 绑定到节点0的CPU，并将内存也分配在节点0
numactl --cpunodebind=0 --membind=0 ./your_app

# 仅绑定CPU，允许跨节点内存
taskset -c 0-15 ./your_app

验证：

numactl --show --hardware

确认进程的内存策略与 CPU 绑定。

## 延迟与带宽观测（示例）

使用 `perf stat` 观察 LLC miss 与指令吞吐；或通过内存基准工具（如 `stream`/`mbw`）对比：

numactl --cpunodebind=0 --membind=0 stream
numactl --cpunodebind=0 --membind=1 stream

预期：跨节点时带宽下降、延迟上升；具体数值依平台而定。

## 生产建议

• 将线程池按节点分组，线程固定在本节点 CPU，并使用本节点内存分配。
• 数据分片或队列按节点划分，减少跨节点通信。
• 观察热点：使用 `perf/top` 确认是否存在频繁跨节点访问与锁竞争。

## 注意事项

• 某些内存分配器（如 `jemalloc`）可配置 NUMA 策略，优先本地分配。
• 容器场景需显式传递 CPU/内存亲和参数（如 `--cpuset-cpus`），并确认宿主机 NUMA 绑定策略。
• 避免将单线程绑定到与其内存相反的节点，否则产生不必要的跨节点访问。

## 结语

通过明确的 CPU/内存亲和设置，可以显著减少跨节点访问带来的延迟波动。结合线程分组与数据分片策略，能在多路服务器上获得更稳定的性能表现。