隐式并行编程：从顺序到并行的转变

### 隐式并行编程：从顺序到并行的转变 #### 1. 顺序编程的局限 在当今的计算环境中，我们常常期望通过升级硬件，如增加处理器数量，来提升程序的运行速度。然而，当我们将工作站从单处理器升级到多处理器，或者将处理器数量从两个增加到四个时，却往往无法看到程序性能的显著提升。这是因为大多数应用程序都是用顺序编程语言编写的，这些程序无法直接利用多处理器的优势。 多处理器系统虽然可以同时运行多个程序，提高系统的整体吞吐量，但单个程序并不能像并行程序那样，通过将工作分配到多个处理器上而加快运行速度。那么，为什么大多数程序都是顺序的呢？原因主要有两个方面。 一方面是历史原因。直到 20 世纪 90 年代末，多处理器才开始作为商品硬件变得普遍且价格合理，在此之前，人们对编写并行程序并没有广泛的兴趣。另一方面，现有的生成并行程序的方法大多非常困难，无论是自动将现有的顺序程序转换为并行程序，还是程序员显式地编写并行程序，都具有较高的难度。 #### 2. 并行编程的困难与挑战 许多程序在合适的算法抽象层面上实际上包含了丰富的并行性，但当我们用具体的顺序编程语言编写代码时，这些并行性大多被掩盖和消除了。这使得自动系统很难恢复这些被掩盖的并行性。 例如，在顺序编程中，程序的执行通常是按照特定的顺序依次进行的，变量的赋值和操作也有严格的先后顺序，这就限制了程序的并行执行能力。即使编译器试图从传统的顺序源代码中提取并行程序，也往往难以取得理想的效果。 #### 3. 重写程序以实现并行的方法 如果无法从现有的顺序程序中恢复并行性，那么一种替代方法是重新编写程序，使其具有并行性。以下是三种可行的方法： - **使用特定风格和注释编写顺序程序**：我们可以用顺序语言以特定的风格编写程序，并添加某些注释，使编译器更容易生成并行代码。这种方法的设计受到了对传统顺序程序自动并行化困难的洞察的影响。例如，高性能 Fortran 和 OpenMP 就属于这类编程语言。然而，这种方法并非真正的通用方法，因为只有特定类型的应用程序适合这种范式。 - **扩展顺序语言以支持并行**：可以放弃自动并行化，而是扩展现有的顺序语言，添加显式的构造来启动并行活动。例如，对于对称多处理器（SMP），通常会添加创建线程/进程/任务的机制，以及一些同步机制，如锁或监视器。如果要将程序扩展到多个 SMP 或工作站集群，可能还需要使用消息传递机制。但这些并行编程方法对于程序员来说具有很大的挑战性，通常只有专家程序员才能胜任。 下面是一个简单的表格，总结了这三种方法的特点： | 方法 | 优点 | 缺点 | | ---- | ---- | ---- | | 使用特定风格和注释编写顺序程序 | 编译器较易生成并行代码 | 仅适用于特定类型的应用程序 | | 扩展顺序语言以支持并行 | 可以实现并行编程 | 对程序员要求高，难度大 | #### 4. 变量与值的相关概念 在编程中，变量和值是非常重要的概