Linux 内存带宽与延迟测量：stream、perf 与 numactl 可验证实战

本文提供从工具获取到操作步骤的完整路线，用于在 Linux 服务器上量化内存带宽/延迟与 NUMA 影响，形成稳定的性能评估与优化依据。

## 前提与工具

• Linux（企业版发行版皆可）。
• `numactl` 与 `perf` 可用；`stream` 基准可从官方源码构建或使用发行版包。

## 获取硬件与 NUMA 拓扑（可复现）

lscpu | egrep 'Model name|Socket|NUMA|CPU\(s\)'
numactl --hardware

输出包含节点数、每节点内存与 CPU 映射，为后续绑定与对比测试提供基础。

## 构建与运行 stream（示例）

# 获取并编译（示例，需具备编译环境）
wget https://www.cs.virginia.edu/stream/FTP/Code/stream.c -O stream.c
gcc -O3 -march=native stream.c -o stream

# 绑定到节点 0 运行（线程数按核心数调整）
numactl --cpunodebind=0 --membind=0 ./stream

# 对比远端内存绑定（仅变更 membind）
numactl --cpunodebind=0 --membind=1 ./stream

观察 `copy/scale/add/triad` 四项带宽，通常本地绑定带宽更高且抖动更小；远端绑定会出现带宽下降与耗时升高，幅度依平台而定。

## 使用 perf 观测缓存与访存行为（可复现）

# 以 stream 或目标应用为例，观测关键事件
perf stat -e cycles,instructions,cache-references,cache-misses \
  -e dTLB-load-misses -e L1-dcache-load-misses \
  numactl --cpunodebind=0 --membind=0 ./stream

关注点：`cache-misses` 与 `dTLB-load-misses` 在远端绑定或跨节点访问时通常升高；结合延迟/带宽结果评估 NUMA 敏感度。

## 可验证的优化建议

• 进程/线程池按 NUMA 节点划分，减少跨节点竞争与迁移。
• 使用本地优先分配策略，并验证分配器（如 `jemalloc`）的 NUMA 感知行为。
• 结合 HugePages 与对齐（如 1MB 对齐）在内存密集型负载上获取更稳定的带宽表现。

## 注意事项

• 不同主板/BIOS 的内存通道与 NUMA 布局会影响实际带宽与延迟，请在上线前核对并复测。
• 线程数与绑定策略需按应用特性调整，以避免过度绑定导致资源利用率下降。

## 结语

通过 stream 与 perf 的组合，并辅以 numactl 的绑定控制，可以将服务器内存性能从经验判断转化为可复现的度量与优化，支撑高并发服务的稳定表现。