用IDEA开发spark应用，发生java.lang.ClassNotFoundException的解决

最新推荐文章于 2025-05-22 09:52:18 发布

qq_22091165

最新推荐文章于 2025-05-22 09:52:18 发布

阅读量1.8w

点赞数

CC 4.0 BY-SA版权

分类专栏： debug琐记文章标签： spark exception 异常

本文链接：https://blog.csdn.net/qq_22091165/article/details/40780331

在使用IDEA开发Spark应用时，编译成功但在运行时遇到`java.lang.ClassNotFoundException`，异常指向net.xxxx.spark.LogReg$$anonfun$1。问题在于29行，但将代码打包通过spark-submit提交到Spark服务器则正常运行。解决方法是修改代码的第3行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

之前的一篇转载介绍了用IDEA开发spark应用的配置方法。在完成配置之后，我写了下面的demo code。

object LogReg {
  def main (args: Array[String]) {
    val conf = new SparkConf().setAppName("spark demo").setMaster("spark://master.local:7077")
    val sc = new SparkContext(conf)

    // parse the dimension
    if (args.length != 1) {
      System.err.println("Need one argument")
      System.exit(-1)
    }
    val dimension = Integer.parseInt(args(0))
    System.out.println("Dimension = " + dimension)

    // load the training data
    val trainData = MLUtils.loadLibSVMFile(sc,
                  "hdfs://master.local:9000/user/xxxx/input/out5_training.log",
                  dimension)
    // train
    val numIterations = 100
    val model = LogisticRegressionWithSGD.train(trainData, numIterations)

    val valuesAndPreds = trainData.map { point =>
      val prediction = model.predict(point.features)
      (prediction, point.label)
    }

    val trainErrors = valuesAndPreds.filter{case (v,p) => v != p}

    val trainErr = trainErrors.count.toDouble / trainData.count
        System.out.println("Training error = " + trainErr)

    // test
    val testData = MLUtils.loadLibSVMFile(sc,
                  "hdfs://master.local:9000/user/xxxx/input/out5_testing.log",
                  dimension)
    val testAndPreds = testData.map { point =>
      val prediction = model.predict(point.features)
      (prediction, point.label)
    }
    va