spark.debug.maxToStringFields

最新推荐文章于 2025-06-05 10:59:25 发布

潇洒-人生

最新推荐文章于 2025-06-05 10:59:25 发布

阅读量1.5w

点赞数 2

CC 4.0 BY-SA版权

分类专栏：大数据 spark spark

本文链接：https://blog.csdn.net/qq_35744460/article/details/83650603

大数据同时被 3 个专栏收录

45 篇文章

订阅专栏

spark

17 篇文章

订阅专栏

spark

12 篇文章

订阅专栏

本文介绍了解决Spark在运行过程中遇到的字符串表示过长错误的方法，通过调整'spark.debug.maxToStringFields'配置，设置为100，以确保SparkSession正确初始化。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

spark运行报错

Truncated the string representation of a plan since it was too large. This behavior can be adjusted by setting 'spark.debug.maxToStringFields' in SparkEnv.conf.

需要设置.config("spark.debug.maxToStringFields", "100")

SparkSession
        .builder()
        .master("local[4]")
        .appName("report")
        .config("spark.debug.maxToStringFields", "100")
        .getOrCreate();