Spark提交作业参数

最新推荐文章于 2024-02-05 11:57:33 发布

cluse_ld

最新推荐文章于 2024-02-05 11:57:33 发布

阅读量939

点赞数

CC 4.0 BY-SA版权

分类专栏： spark 文章标签： spark 大数据 java

本文链接：https://blog.csdn.net/Laoddaaa/article/details/126422264

spark 专栏收录该内容

18 篇文章

订阅专栏

参考答案

提交任务时的几个重要参数
1. executor-cores——每个executor使用的内核数，默认为1，官方建议为2-5个。
2. num-executors——启动executor的数量，默认为2。
3. executor-memory——executor内存大小默认1G。
4. driver-cores——driver使用内核数，默认一个。
5. driver-memory——driver内存大小，默认512M。
样例

spark-submit \ 
--master local[5] \ 
--driver-cores 2 \ 
--driver-memory 8g \ 
--executor-cores 4 \ 
--num-executors 10 \ 
--executor-memory 8g \ 
--class PackageName.ClassName XXXX.jar \ 
--name "Spark Job Name" \ 
InputPath \ 
OutputPath