Initial job has not accepted any resources； check your cluster UI to ensure that workers are registe

我从远处聆听你

已于 2022-05-07 16:33:31 修改

阅读量885

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据文章标签： spark scala big data

于 2022-05-07 16:26:09 首次发布

本文链接：https://blog.csdn.net/qq_14945847/article/details/124633582

大数据专栏收录该内容

7 篇文章

订阅专栏

博客内容描述了在尝试运行Spark任务时遇到的问题，即初始作业未接受任何资源，提示内存不足。日志显示系统内存466092032必须至少为471859200，建议通过增加`--driver-memory`选项或修改Spark配置来增大堆内存。提供的代码展示了使用Scala进行Spark操作的基本示例，包括创建RDD、并行化、收集、计数和获取顶部元素。解决方法是调整Spark提交命令中的executor内存大小，如设置为499m，并限制executor核心数为2。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.spark运行任务

报错 Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
提示没有足够内存
查看日志发现啊内存问题

Exception in thread "main" java.lang.IllegalArgumentException: System memory 466092032 must be at least 471859200. 
Please increase heap size using the --driver-memory option or spark.driver.memory in Spark configuration.

2.代码

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object ActionDemo {

  def main(args: Array[String]): Unit = {
	SparkConf().setAppName("ArraySparkTestDemo").setMaster("spark://192.168.139.169:7077")
    val context = new SparkContext(conf)
    val rdd1:RDD[Int] = context.parallelize(List(1,2,3,4,5,6,4))
    println(rdd1.collect().toList)
    println(rdd1.count())
    val rdd2:Array[Int]=rdd1.top(3)
    println(rdd2.toBuffer)
    val rdd3:Array[Int]=rdd1.take(3)
    println(rdd3.toBuffer)
  }
}

3.启动命令需要修改下，调整下内存，不能太大，根据spark后台查看每个worker内存

 spark-submit --master spark://192.168.139.169:7077  --name ArraySparkTestDemo --class core.ActionDemo --executor-memory 499m --total-executor-cores 2 spark-test-0.0.1-SNAPSHOT.jar

在这里插入图片描述