pycharm如何配置pyspark

最新推荐文章于 2025-06-17 12:28:25 发布

Tylor_zhang111

最新推荐文章于 2025-06-17 12:28:25 发布

阅读量1.4k

点赞数 1

CC 4.0 BY-SA版权

分类专栏： python 文章标签： pycharm spark python

原文链接：https://www.cnblogs.com/cxw296052618/p/10450637.html

python 专栏收录该内容

8 篇文章

订阅专栏

本文详细介绍了如何在PyCharm中配置Pyspark环境，包括下载Spark并解压，设置环境变量SPARK_HOME和PYTHONPATH，以及在PyCharm的项目结构中添加内容根。通过这些步骤，解决了在PyCharm中使用`from pyspark import SparkContext`时出现的模块未找到问题，使得代码能够正常运行。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1 下载官网spark-2.1.1-bin-hadoop2.7.tgz（版本自己选择），解压将文件放在了指定路径下，这个文件夹里面有python文件，python文件下还有两个压缩包py4j-0.10.7-src.zip(版本可不同)和pyspark.zip，之后会用到。

2 pycharm使用pyspark时from pyspark import SparkContext，代码依然划红线，运行依然显示没有该模块。

3 随便打开一个project，pycharm右上角“run”三角形的左边有一个Edit configurition，打开它。

4 设置configurition—Environment— Environment variables —点击“…”，出现框框，点击+，输入两个name，一个是SPARK_HOME，另外一个是PYTHONPATH，设置它们的values，SPARK_HOME的value是安装文件夹spark-2.1.1-bin-hadoop2.7的绝对路径，PYTHONPATH的value是该绝对路径／python，例如我的SPARK_HOME的value是D:\develop\spark-2.4.5-bin-hadoop2.7，那么我的PYTHONPATH的value是D:\develop\spark-2.4.5-bin-hadoop2.7\python 。设置好了保存。（注意不管是路径的哪里，都不能有空格!）

5 关键的一步。在perferences中的project structure中点击右边的“add content root”，添加py4j-some-version.zip和pyspark.zip的路径（这两个文件都在Spark中的python文件夹下）

6 再次编码from pyspark import SparkContext，红线消失，运行正常。