Spark：性能调优实战

链接：

文字文档
极客链接

一、资源申请&并行度

spark.executor.cores

一个Executor中同时可以执行的task数目（在Executor内存不变的情况下，executor-cores数越大，平均下来一个task可以使用的内存就越少）

spark.executor.memory

Executor Java进程的堆内存大小，即Executor Java进程的Xmx值

spark.yarn.executor.memoryOverhead

Executor Java进程的off-heap内存，包括JVM overhead，sort、shuffle以及Netty的堆外内存等

spark.dynamicAllocation.enabled

是否开启动态资源分配，强烈建议开启。

spark.dynamicAllocation.maxExecutors

开启动态资源分配后，同一时刻，最多可申请的executor个数

spark.dynamicAllocation.minExecutors

开启动态资源分配后，某一时刻executor的最小个数。默认设置为3，即在任何时刻，作业都会保持至少有3个及以上的executor存活

spark.memory.fraction

存储+执行内存占节点总内存的大小 。

spark.memory.storageFraction

存储内存占(存储+执行)内存的比例

spark.driver.memory

driver使用内存大小

spark.yarn.driver.memoryOverhead

driver进程的off-heap内存

二、文件大小

spark.hadoop.hive.exec