NV-Link 测试（可用性与速率，PCIE+SXM）

NV-Link 测试（可用性与速率，PCIE+SXM）

1. 简介

• NV-Link 是 NVIDIA 开发的一种多卡高速互连技术，主要用于在 GPU 与 GPU之间进行的数据通信。

• 它最初于 2016 年随 Tesla P100 GPU 推出， 相比传统的 PCIe（如 PCIe 3.0、4.0），NVLink 提供更低延迟、更高效率的通信。

• 多张 GPU 并行训练模型时，NVLink 可以显著提高模型参数同步效率（如 Reduce , Broadcast ）。

另外SMX结构服务器，即DGX，是NVSwitch + NVLink 架构，可实现 8~16 张 GPU 全互联结构，大幅提升大模型训练/推理时的内存访问效率。

2.对比PCIe

PCIe 4.0以上延迟较小，但其支持的主板和cpu也较贵。

3.测试

本案例在华南X99平台（f8d p, E5-2680V4）下测试 Nvlink2.0的2080ti-22g双卡互联，给出三种测试方式：

3.1 命令行测试：

最基本的操作即nvida命令:

nvdia-smi nvlink -s

注意：这个结果只能检测到nvlink，实际是否起作用，需要在代码中测试。

• 测试结果
  

3.2 cupy包测试

需要安装cupy，其提供了cuda.runtime.deviceCanAccessPeer(i, j)方法，可实现双卡的交互访问

代码如下：

def check_nvlink_with_cupy():
    num_gpus = torch.cuda.device_count()
    print(f"Detected {
     
     num_gpus} CUDA devices")

    for i