分别使用OpenMP、MPI、OpenMP+MPI混合编程实现并行矩阵乘法

### 使用 OpenMP 实现并行矩阵乘法 对于多线程环境下的矩阵乘法，可以采用 OpenMP 来简化开发过程。通过编译器指令来指示哪些部分应该被多个线程执行。 ```cpp #include <omp.h> #include <iostream> void openmp_matrix_multiply(int *A, int *B, int *C, int N) { #pragma omp parallel for collapse(2) for (int i = 0; i < N; ++i) { for (int j = 0; j < N; ++j) { C[i*N+j] = 0; for (int k = 0; k < N; ++k) { C[i*N+j] += A[i*N+k] * B[k*N+j]; } } } } ``` 此代码片段展示了如何使用 `#pragma omp parallel for` 指令让循环迭代由不同线程处理[^2]。 ### 使用 MPI 实现并行矩阵乘法 当涉及到分布式内存系统的并行化时，则会用到 MPI 技术。下面是一个简单的例子展示怎样分配子任务给各个处理器节点完成局部运算再汇总结果： ```c #include <mpi.h> #include <stdio.h> #define MASTER 0 /* ID of master process */ // ...其他必要的定义... int main(int argc, char **argv){ // 初始化MPI环境... if(my_rank == MASTER){ // 主进程负责读取输入数据并将它们分发出去... }else{ // 工作者接收来自master的数据块后开始计算自己的那一份积... } // 所有进程都参与最终的结果收集阶段... MPI_Finalize(); return 0; } ``` 这段伪代码描述了一个典型的主从模式下基于消息传递接口(MPI)的程序结构框架[^1]. ### 结合 OpenMP 和 MPI 的混合编程方式 为了充分利用共享内存架构中的多核优势以及分布式的计算资源，在某些情况下可能会考虑将两种技术结合起来应用。一种常见做法是在每个节点内部利用 OpenMP 进行情内并行加速的同时借助于MPI来进行跨机器间的通讯协作: ```cpp #include <mpi.h> #include <omp.h> #include <iostream> int main(int argc, char* argv[]) { MPI_Init(&argc,&argv); int world_size,world_rank; MPI_Comm_size(MPI_COMM_WORLD,&world_size); MPI_Comm_rank(MPI_COMM_WORLD,&world_rank); const int N=8; // 假设N为全局变量 double start_time,end_time; if(world_rank==MASTER){ start_time=MPI_Wtime(); // 发送初始参数至各slave node... end_time=MPI_Wtime()-start_time; printf("Total time taken by all processes is %lf\n",end_time); } // 各个rank上的具体操作... #pragma omp parallel num_threads(N/size) { // 利用OpenMP做进一步细粒度划分... } MPI_Finalize(); return 0; } ``` 上述代码段提供了一种可能的设计思路——即先按照MPI的方式把大问题分解成若干个小问题交给不同的计算机去解决；而在每台计算机上又可以通过OpenMP发挥其CPU核心数量的优势加快单机内的求解速度[^3].