Spark 2.4单机环境配置教程-CSDN博客

本文链接：https://blog.csdn.net/qq_40333693/article/details/109383903

本文详细介绍了如何配置单机版Spark环境，包括下载Spark和Scala安装包，虚拟机中解压，设置环境变量，配置spark-env.sh文件，并通过测试验证配置成功，最后启动Spark。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一.下载安装包
1.下载Spark压缩包：选择较新的Spark2.4版本，下载地址
https://archive.apache.org/dist/spark/spark-2.4.5/spark-2.4.5-bin-hadoop2.6.tgz
2.在Scala官网下载scala-2.11.12.tgz压缩包
二，在虚拟机中解压文件
1.将Scala压缩文件解压到opt目录下：tar -zxvf scala-2.11.12.tgz -C /opt
2.将Spark压缩文件解压到opt目录下：tar -zxvf spark-2.4.5-bin-hadoop2.6.tgz -C /opt
3.分别重命名：

mv  spark-2.4.5-bin-hadoop2.6 spark
mv scala-2.11.12 scala

三.配置环境变量
1.输入：vi /etc/profile
2.在文件中添加如下配置

export SCALA_HOME=/opt/scala
export SQOOP_HOME=/opt/sqoop
export PATH=$SCALA_HOME/bin:$PATH
export PATH=$SPARK_HOME/bin:$PATH

在这里插入图片描述
3.使配置好的环境变量立即生效：source /etc/profile
4.进入spark下的conf目录：cd /opt/spark/conf
5.将spark-env.sh.template重命名为spark-env.sh:mv spark-env.sh.template spark-env.sh
6.在conf目录下，修改spark-env.sh配置文件vi spark-env.sh
修改如下
在最后添加如下代码


export JAVA_HOME=/opt/java8
export SCALA_HOME=opt/scala
export SPARK_HOME=/opt/spark
export SPARK_MASTER_IP=hadoop004
export SPARK_EXECUTOR_MEMORY=1G

在这里插入图片描述
四.测试是否配置成功
进入spark的sbin目录：cd sbin/
执行./start-all.sh命令
输入jps，如图所示，即配置成功

五.启动spark
进入spark下的bin目录：cd /opt/spark/bin
执行spark-shell命令，出现如下界面。即启动成功
在这里插入图片描述
单机模式：spark-shell --master spark://MASTERHOST:7077
YARN模式：spark-shell --master yarn-client

单机式Spark环境配置