MapReduce简单理解

维基百科

MapReduce是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念“Map（映射）”和“Reduce（归纳）”，及他们的主要思想，都是从函数式编程语言借鉴的，还有从矢量编程语言借来的特性。

当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归纳）函数，用来保证所有映射的键值对中的每一个共享相同的键组。

百度百科

MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。 当前的软件实现是指定一个Map（映射）函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce（归约）函数，用来保证所有映射的键值对中的每一个共享相同的键组。

MapReduce简介

MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算，用于解决海量数据的计算问题。

映射（Mapping）对集合里的每个目标应用同一个操作。即，如果你想把表单里的每个单元格乘以二，那么把这个函数单独地应用在每个单元格上的操作就属于mapping。

化简（Reducing）遍历集合中的元素来返回一个综合的结果。即，输出表单里一列数字的和这个任务属于reducing。

你向MapReduce框架提交一个计算作业时，它会首先把计算作业拆分成若干个Map任务，然后分配到不同的节点上去执行。每一个Map任务处理输入数据中的一部分，当Map任务完成后，它会生成一些中间文件，这些中间文件将会作为Reduce任务的输入数据。Reduce任务的主要目标就是把前面若干个Map的输出汇总到一起并输出。MapReduce的伟大之处就在于编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。

简单理解的例子-1

制作洋葱辣椒酱

正常的制作步骤：取一个洋葱，一根辣椒、一个大蒜，把它们切碎，然后拌入盐和水，最后放入混合研磨机里研磨。

把MapReduce的概念映射到食谱上面。

Map(映射)：把洋葱、辣椒和大蒜切碎，就是各自作用在这些物体上的一个Map操作。所以，一个Map操作，可以把洋葱切碎；一个Map操作，可以把辣椒切碎；一个Map操作，可以把大蒜切碎；所以，当你在切一个辣椒的时候，就相当于在执行一个Map操作。Map操作适用于每一种蔬菜，它的产出是一些碎块，在实际生产例子中就是蔬菜碎块。当然，当你发现辣椒坏掉的情况，通常会把辣椒扔掉。Map操作会过滤掉坏掉的辣椒而不产出任何坏掉的辣椒碎。

Reduce(归纳)：在这一阶段，你将各种蔬菜碎都放入研磨机里研磨，就可以得到一瓶辣椒酱。因此，要得到一瓶辣椒酱，需要Map所有的蔬菜得到蔬菜碎，再用Reduce研磨机将蔬菜碎聚集到一起进行研磨，最后，得到一瓶辣椒酱。

以上是MapReduce的一部分，MapReduce的强大在于分布式计算。

分布式计算

假设每天需要生产1万瓶辣椒酱，还能否独自完成呢？答案当然是“否”。

首先需要一个能提供大量原料的供应商，然后雇佣更多的工人来切蔬菜，还需要更多的研磨机，然后分配工作。首先需要几个人一起切蔬菜，具体操作需要他们将蔬菜从袋子里面拿出来，每次只切一种蔬菜，直到袋子空了为止。这相当于每一个人在执行一个简单的Map操作。这样，当所有工人都切完之后，就有了洋葱、辣椒和大蒜碎。（MapReduce将所有输出的蔬菜碎都搅拌到了一起，这些蔬菜碎都是在以key为基础的map操作下产生的。可以假设key是一种蔬菜的名字，就像辣椒一样。将全部的辣椒keys都搅拌到一起，并转移到研磨辣椒的研磨器里。这样就能得到辣椒酱了。同样地，所有的洋葱和大蒜也会被转移到标记着各自名称的研磨器里，并制造出辣椒酱。）

简单理解的例子-2

统计过去10年中计算机论文里出现最多的几个词语。

方法一：写个小程序，把所有论文按顺序遍历一遍，统计每一个遇到的词语出现的次数，最后排序，就可以知道最热门的词语排序了。

方法二：写一个多线程程序，并发遍历论文。统计一个文件时不会影响到另一个文件，理论上可以高度并发的。当机器是多核或者多处理器时，方法二一般比方法一高效。但是写一个多线程程序要比方法一困难多了，我们必须自己同步共享数据，比如要防止两个线程重复统计文件。

方法三：把作业交给多个计算机去完成。我们把方法一的程序部署到N台机器上去，然后把论文集分成N份，一台机器跑一个作业。这个方法跑的足够块，但是部署起来很麻烦，需要人工把程序cpoy到N台服务器上面，还要人工把论文分开，最后还要人工进行整合。

方法四：用MapReduce来帮忙，MapReduce本质上就是方法三，但是如何拆分文件集，如何copy文件，如何整合结果都是框架定义好的。只需要定义好所有任务即可。

简单理解的例子-3

假如我们要数图书管里的所有书。小明数1号书架，小王数2号书架。这就是“Map”。人越多，数书越快。现在把全班所有人聚集到一起，把所有人的统计数加到一起。这就是“Reduce”。