从一个GPU到多个GPU

在多GPU运行应用程序时，需要正确设计GPU之间的通信，GPU间数据传输的效率取决于GPU是如何连接在一个节点上并跨集群的
在多GPU系统里有两种连接方式
多GPU通过单个节点连接到PCIe总线上
多GPU连接到集群中的网络交换机上

/*
* 本示例演示了如何使用 OpenMP API 为多个 GPU 编写应用程序
 在 CPU 端使用 OpenMP 进行线程处理的多 GPU 示例, 需要支持 OpenMP 2.0 的编译器
 */

#include <omp.h>
#include <stdio.h>  // 使用 stdio 函数，因为 C++ 流不一定是线程安全的
#include <helper_cuda.h>

using namespace std;

//一个简单的内核，只需将每个数组元素递增 b
__global__ void kernelAddConstant(int *g_a, const int b)
{
   
   
    int idx = blockIdx.x * blockDim.x + threadIdx.x;
    g_a[idx] += b;
}
// 一个谓词，用于检查每个数组元素是否被设置为其索引加上 b
int correctResult(int *data, const int n, const int b)
{
   
   
    for (int i = 0; i < n; i++)
        if (data[i] != i + b)
            return 0;

    return 1;
}
int main(int argc, char *argv[])
{
   
   
    int num_gpus =