Exception in thread “main“ java.lang.NoSuchMethodError: org.apache.spark.internal.config.package$.SH

（YSY_YSY）

于 2021-11-17 11:16:58 发布

阅读量2.6k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据文章标签： spark big data scala

本文链接：https://blog.csdn.net/qq_50231389/article/details/121373555

大数据专栏收录该内容

7 篇文章

订阅专栏

本文解决了一个关于 Spark 中 DataFrame 导包时出现的版本不一致问题，详细介绍了错误信息及排查过程，并给出了解决方案。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

项目场景：

Spark中DataFrame的导包问题

问题描述：

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.spark.internal.config.package$.SHUFFLE_SPILL_NUM_ELEMENTS_FORCE_SPILL_THRESHOLD()Lorg/apache/spark/internal/config/ConfigEntry; at org.apache.spark.sql.internal.SQLConf$.(SQLConf.scala:1205) at org.apache.spark.sql.internal.SQLConf$.(SQLConf.scala) at org.apache.spark.sql.internal.StaticSQLConf$.(StaticSQLConf.scala:31) at org.apache.spark.sql.internal.StaticSQLConf$.(StaticSQLConf.scala) at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:940) at com.Spark.SparkList$.main(SparkList.scala:13) at com.Spark.SparkList.main(SparkList.scala)