pyspark环境搭建 windows

### 一、准备工作 在 Windows 系统上搭建 PySpark 开发环境前，需确认已安装以下基础软件： 1. **JDK (Java Development Kit)** JDK 是运行 Spark 的必要条件。建议下载并安装最新稳定版的 JDK[^2]。 2. **Hadoop** 虽然本地开发可以不依赖于实际部署 Hadoop 集群，但某些版本的 Spark 默认支持特定版本的 Hadoop。因此，在配置过程中需要指定兼容的 Hadoop 版本[^5]。 --- ### 二、具体步骤 #### 1. 下载并解压 Apache Spark 访问官方镜像站点下载适合的 Spark 发行包： ```plaintext https://archive.apache.org/dist/spark/ ``` 选择对应版本（如 `spark-3.x.x-bin-hadoop2.7`），将其解压缩到目标目录，例如 `D:\MyProgram\spark-3.x.x-bin-hadoop2.7`[^5]。 #### 2. 设置系统环境变量 右键“此电脑” -> 属性 -> 高级系统设置 -> 环境变量: - 新建系统变量 `SPARK_HOME` 并赋值为 Spark 解压路径，例如：`D:\MyProgram\spark-3.x.x-bin-hadoop2.7`[^3]。 - 将 `%SPARK_HOME%\bin` 添加至系统的 `Path` 变量中[^4]。 #### 3. 使用 Anaconda 安装 PySpark 如果已经安装了 Anaconda，则可以通过其内置工具快速安装 PySpark 库： ```bash conda activate base pip install pyspark==3.1.2 -i https://pypi.tuna.tsinghua.edu.cn/simple/ # 或者使用阿里云源 pip install pyspark==3.1.2 -i https://mirrors.aliyun.com/pypi/simple/ ``` 通过以上命令可确保 Python 中能够调用 PySpark 功能模块[^4]。 #### 4. IDE 配置（以 PyCharm 为例） 打开项目后进入菜单栏中的 “Run/Edit Configurations”，添加如下两个重要参数： - `PYTHONPATH`: 指定为 Spark 的 Python 子目录位置，比如 `D:\MyProgram\spark-3.x.x-bin-hadoop2.7\python`[^5]； - `SPARK_HOME`: 同样指向 Spark 主目录 `D:\MyProgram\spark-3.x.x-bin-hadoop2.7`[^3]。 完成后保存更改即可正常启动调试模式测试代码逻辑。 --- ### 三、验证安装成功与否 编写一段简单的脚本来检验当前环境是否可用： ```python from pyspark import SparkConf, SparkContext if __name__ == "__main__": conf = SparkConf().setAppName("test").setMaster("local[*]") sc = SparkContext(conf=conf) rdd = sc.parallelize(range(1, 10)).map(lambda x: x * 2).collect() print(rdd) sc.stop() ``` 执行该程序应返回 `[2, 4, 6, ..., 18]` 结果集表示一切运转良好[^1]。 --- ### 四、常见错误排查指南 当遇到问题时可以从以下几个方面入手解决： - 检查 JAVA_HOME 是否正确设置了 JDK 地址； - 确认 SPARK_HOME 和 PATH 增加无误； - 对照所选 Spark/Hadoop 组合版本间是否存在冲突情况发生。 ---