Spark集群配置与运行过程中的问题与解决方法

wahoo0301

于 2021-01-26 10:15:05 发布

阅读量1.1k

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据平台文章标签： spark linux hadoop 大数据 hbase

本文详细记录了在配置和运行Spark集群过程中遇到的问题，包括Hbase启动报错、Master意外关闭、Yarn授权异常、时间不同步、PySpark与Spark版本不匹配、读取Hbase数据报错等，并提供了相应的解决办法，如调整jar包、修改配置、更新软件版本等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

问题： hbase启动报错SLF4J: Class path contains multiple SLF4J bindings
方法： 重命名hbase里的jar包，mv ./lib/slf4j-log4j12-1.7.5.jar ./lib/slf4j-log4j12-1.7.5.jar-copy
问题： 当master意外关闭时，worker节点还有datanode进程
方法： 参考网址使用命令sbin/hadoop-daemon.sh stop datanode
问题： hadoop报错org.apache.hadoop.yarn.exceptions.YarnException Unauthorized request to start container
方法： 参考网址
问题： spark on yarn(ERROR client.TransportClient: Failed to send RPC)
方法： 参考网址
问题： 集群机器时间不同步
方法： 参考网址在集群机器上运行 sudo ntpdate cn.pool.ntp.org ，设置系统时间与网络时间同步
问题： 将应用提交到yarn上运行没有问题，在pycharm里直接运行程序报错：py4j.protocol.Py4JError: org.apache.spark.api.python.PythonUtils.isEncryptionEnabled does not exist in the JVM
方法： 发现安装pyspark的版本是3.0.0,与当前安转的spark版本(2.4.5)不一致，pip
install pyspark==2.4.5
问题：