大数据-笔经（Spark、MapReduce执行过程）

Hadoop hive spark hive spark HBASE input -》默认从HDFS中读取数据 FileInputFormat -》将每一行转成keyvalue -》输出： <行偏移量，行内容> key value 0 Hadoop hive ...

1.客户端要编写好mapreduce程序，配置好mapreduce的作业 2.提交job即提交给JobTracker上 3.JobTracker构建job,具体就是分配一个新的job任务的ID值 4.检查输出目录是否已经存在，如果已经存在则抛出错误，如果不存在，执行第5步 5.检查输入目录 是否存在，如果不存在，则抛出错误，如果存在，执行第6步 6.JobTracker会根据输入计算

Shuffle横跨Map端和Reduce端，在Map端包括Spill过程，在Reduce端包括copy和sort过程

目录 一： 理解shuffle 二： shuffle write 2.1 shuffle write的目标 2.2 shuffle write的位置 2.3 桶（bucket） 2.4 默认分区算法 2.5 bucket数量太多的解决方案 三： shuffle read 3.1 在什么时候fetch 3.2 边fetch边处理还是一次性fetch完再处理？ 3.3 fetch来的数据存放在哪？ 3.4 如何获得要fetch的数据的存放位置？ 3.5 reduce端的shuffle

上一章里讨论了 job 的物理执行图，也讨论了流入 RDD 中的 records 是怎么被 compute() 后流到后续 RDD 的，同时也分析了 task 是怎么产生 result，以及 result 怎么被收集后计算出最终结果的。然而，我们还没有讨论数据是怎么通过 ShuffleDependency 流向下一个 stage 的？ 对比 Hadoop MapReduce 和 Spark 的 S

一、Spark与MapReduce的区别 MapReduce简介： MapReduce是hadoop中的一个计算框架，具体核心是将编程抽象为map和reduce两个方法，程序员只需要编写map和reduce两个方法的具体代码就可以完成一个分布式计算操作，大大的简化了开发的难度，使开发难度减小。同时MapReduce程序是基于分布式集群运行，所以可以处理大量的数据。   正是因为MapRedu...

转自：Mapreduce多进程与spark多线程 Apache Spark的高性能一定程度上取决于它采用的异步并发模型（这里指server/driver 端采用的模型），这与Hadoop 2.0（包括YARN和MapReduce）是一致的。Hadoop 2.0自己实现了类似Actor的异步并发模型，实现方式是epoll+状态机，而Apache Spark则直接采用了开源软件Akka，该软

MapReduce的Shuffle和Spark的Shuffle过程对比MapReduce MapReduce MapReduce计算模型分为map和reduce两个重要阶段，map是映射，负责数据的过滤分发。reduce是规约，负责数据的计算归并，map将数据传递给reduce，reduce需要通过shuffle来读取数据。map输出到reduce的输入广义的称之为Shuffle。Shuffle横...

安装 Scala IDE 搭建 Scala 语言开发环境很容易，Scala IDE 官网 下载合适的版本并解压就可以完成安装，本文使用的版本是 4.1.0。 安装 Scala 语言包 如果下载的 Scala IDE 自带的 Scala 语言包与 Spark 1.3.1 使用的 Scala 版本 (2.10.x) 不一致，那么就需要下载和本文所使用的 Spark 所匹配的版

1 Shuffle简介 Shuffle的本意是洗牌、混洗的意思，把一组有规则的数据尽量打乱成无规则的数据。而在MapReduce中，Shuffle更像是洗牌的逆过程，指的是将map端的无规则输出按指定的规则“打乱”成具有一定规则的数据，以便reduce端接收处理。或者说需要将各节点上同一类数据汇集到某一节点进行计算,把这些分布在不同节点的数据按照一定的规则聚集到一起的过程成为Shuffle.。其在...

本文主要根据自己的经验对于mapreduce和spark的原理及区别进行了一个详细的描述，对于了解和学习mapreduce和spark有着一定作用

mapreduce工作机制和shuffle的原理，spark的shuffle的工作机制

表达能力 MapReduce需要将所有计算转换为Map和Reduce，难以描述复杂处理过程； Spark除Map和Reduce外，还支持RDD/DataFrame/DataSet等多种数据模型操作，编程模型更加灵活。 磁盘IO MapReduce每步运算都要从磁盘读取数据，结束后写入磁盘数据，仅有小部分数据作为临时缓存放入内存，磁盘IO开销比较大； Spark将中间结果直接放入内存，既提高了迭代运算效率，又避免了大量的重复计算，据官方提供数据，同样迭代运算效率Spark:Hadoop=110:0.9。 任务