spark中的资源配置总结

spark中有太多的概念，有时候会分辨不清。

比如，什么是worker？什么是executor？

每个worker有多少CPU核？是否设置得合理？

要回答这些问题，首先要理解，spark-env.sh中的worker的配置是表示该worker能拿到的总资源。

如图所示，设置SPARK_WORKER_CORES=4，代表每个worker的总CPU资源是4个逻辑核。

worker就像是一个部门经理，握有资源，手下有具体干活的小弟：executors。

根据手里资源的多少，可以决定招多少个小弟。

所以，spark启动的时候，设置的–executor-cores和-executor-memory就决定了能启动多少个executor。

1. 通常情况下可以设置每个executore小弟有一个核，所以根据worker有多少个核，就可以启动多少个executor。即设置：spark.executor.cores=1

2. 根据worker的总CPU核数资源（在spark-env.sh中定义），计算出每个worker能启动多少个executore。

3. 根据给spark总的内存 TG，即：

spark.executor.memory = (TG - driver memory / worker总的核数