DDR5-6400 与 DDR5-5600 带宽与延迟对比：NUMA 绑核与大页可验证实践

## 背景与目标

DDR5 相较 DDR4 带来更高的传输速率与更细粒度的子通道设计。本文以可复现的流程对比 DDR5-6400 与 DDR5-5600 的带宽与延迟，并在 NUMA 绑核与大页配置下观察对性能的影响，帮助服务器在数据库/内存密集型场景做出正确调优。

## 理论带宽计算（规范可验证）

• 公式：带宽 = 传输速率（MT/s） × 总线宽度（bit） / 8。
• DDR5 单通道总线宽度 64-bit（内部为两个 32-bit 子通道）。
• DDR5-5600：5600 MT/s × 64 / 8 = 44.8 GB/s（每通道理论上限）。
• DDR5-6400：6400 MT/s × 64 / 8 = 51.2 GB/s（每通道理论上限）。
• 实测会受 IMC（内存控制器）Gear 模式、时序（CL/tRCD/tRP）、Rank 组织、拓扑与内核调度影响。

## 测试环境与前提

• 操作系统：Linux（建议内核 ≥ 5.10）。
• 工具：`numactl`、`stream`（高性能内存带宽基准）、`lmbench`（`lat_mem_rd`）、`perf`。
• 大页：配置 `vm.nr_hugepages`（示例：`echo 1024 > /proc/sys/vm/nr_hugepages`），并确认 `HugePages_Total/Free`。
• 线程控制：使用 OpenMP 或将 `stream` 的线程数与 CPU 绑核保持一致。

## 测试步骤

### 1）编译与运行 STREAM（Copy/Scale/Triad）

git clone https://github.com/jeffhammond/STREAM.git
cd STREAM
make stream_c.exe CC="gcc" CFLAGS="-O3 -march=native -fopenmp"

# 本地节点带宽（以 16 线程为例，按需调整）
OMP_NUM_THREADS=16 numactl --cpunodebind=0 --membind=0 ./stream_c.exe

# 跨节点带宽（观察远程 NUMA 影响）
OMP_NUM_THREADS=16 numactl --cpunodebind=0 --membind=1 ./stream_c.exe

• 说明：比较不同数据规模（调 `STREAM_ARRAY_SIZE`）下的稳定值，观察是否受缓存/预取影响。

### 2）内存随机访问延迟（lmbench）

# 以 128MB 工作集，步长 128 字节示例
numactl --cpunodebind=0 --membind=0 lat_mem_rd 128M 128

# 远程节点对比
numactl --cpunodebind=0 --membind=1 lat_mem_rd 128M 128

• 说明：不同步长会命中不同层级的缓存与 TLB 行为；大页（HugePages）可降低 TLB Miss，提高带宽并改善长链访问延迟。

### 3）perf 观测（访存行为）

perf stat -e task-clock,cycles,instructions,cache-references,cache-misses \
    OMP_NUM_THREADS=16 numactl --cpunodebind=0 --membind=0 ./stream_c.exe

• 说明：观测 `cache-misses` 与 `instructions per cycle (IPC)` 变化，辅助解释带宽与延迟表现差异。

## 结果解读与调优建议

• 带宽：6400 在本地 NUMA 通常较 5600 更高，但 Gear 模式与时序可能使收益小于理论比值；以稳定段均值对比为准。
• 延迟：远程 NUMA 延迟显著增加；尽量将热点线程与内存绑定在同一节点。
• 大页：HugePages 适合大工作集，减少页表开销；注意透明大页（THP）策略与数据库自身内存管理的兼容性。
• 线程数：合理的线程与绑核可避免 IMC 瓶颈与上下文切换开销。

## 注意事项

• BIOS 设置：确认内存频率、时序与 Gear 模式为期望值；更新微码与平台固件。
• 干扰控制：关闭后台扫描/杀毒或压测期间的重负载服务，确保数据可信。
• 记录版本：注明内核、编译器、microcode、DIMM 型号与拓扑，保证结论可复核。