本文介绍了解决PySpark环境中Python版本不一致的问题。通过设置环境变量PYSPARK_PYTHON和PYSPARK_DRIVER_PYTHON为同一Python版本，可以在代码中直接指定或在spark-env.sh文件中配置来实现。
即问题原因是pyspark的python环境与driver也就是主节点的python环境版本不一致
spark-submit提交程序，如若还是这个问题
在python代码中添加
import os
os.environ['PYSPARK_PYTHON']='/usr/local/bin/pythonXXX' 即可运行
也可以在/etc/spark/conf/spark-env.sh中添加如下代码，就无需在python代码中添加环境变量了
export PYSPARK_PYTHON=/usr/bin/python
export PYSPARK_DRIVER_PYTHON=/usr/bin/python
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
