Linux环境下Spark-4.0.0(最新版本)集群部署

前置安装

Linux环境下Hadoop3.4.1(最新版本)集群部署-CSDN博客

Linux环境下Java17环境安装-CSDN博客

Java17安装

1、下载并上传java17

下载软件：https://download.oracle.com/java/17/archive/jdk-17.0.1_linux-x64_bin.tar.gz

通过mobaxterm将javajdk上传linux系统/usr/local/soft文件夹下

2、解压软件

cd /usr/local/soft/
tar -zxvf jdk-17.0.1_linux-x64_bin.tar.gz

注意：因为依赖的hadoop需要java8,所以此次不再配置环境变量

 一、下载软件

地址：Index of /apache/spark/spark-4.0.0

二、node11节点配置

1、解压

cd /usr/local/soft/
tar -zxvf spark-4.0.0-bin-hadoop3.tgz

2、添加环境变量

编辑环境变量

vi /etc/profile

添加如下内容：

export SPARK_HOME=/usr/local/soft/spark-4.0.0-bin-hadoop3
export PATH=$PATH:$SPARK_HOME/bin

使环境变量生效 

source /etc/profile

3、修改参数

修改启动变量文件

cd /usr/local/soft/spark-4.0.0-bin-hadoop3/conf/
cp spark-env.sh.template spark-env.sh
cp workers.template workers

编辑spark-env.sh文件 vi spark-env.sh

# JDK目录
export JAVA_HOME=/usr/local/soft/jdk-17.0.1
# Scala目录
export SCALA_HOME=/usr/local/soft/scala-2.13.16
# Master IP地址
export SPARK_MASTER_IP=node11
# Worker运行内存
export SPARK_WORKER_MEMORY=1024m
# hadoop配置文件目录
export HADOOP_CONF_DIR=/usr/local/soft/hadoop-3.4.1/etc/hadoop

集群中Worker运行内存可以适当调整3g~8g的范围

修改workers文件

vi  workers

去掉localhost,添加如下内容

node12
node13

三、集群拷贝

scp -r /usr/local/soft/spark-4.0.0-bin-hadoop3 root@node12:/usr/local/soft
scp -r /usr/local/soft/spark-4.0.0-bin-hadoop3 root@node13:/usr/local/soft
scp /etc/profile root@node12:/etc/profile
scp /etc/profile root@node13:/etc/profile
scp -r /usr/local/soft/jdk-17.0.1 root@node12:/usr/local/soft
scp -r /usr/local/soft/jdk-17.0.1 root@node13:/usr/local/soft

计算节点SPARK_WORKER_MEMORY根据实际情况可进行修改及环境变量生效

source /etc/profile

四、集群启动

node11节点启动hadoop

start-all.sh

node11节点启动spark

cd /usr/local/soft/spark-4.0.0-bin-hadoop3
sbin/start-all.sh

检验：

jps

查看master节点

查看计算节点

五、启动客户端

node11节点上启动

spark-shell

打开网页：http://node11:8080/

提示：如果8080端口被占用，程序会自动将端口号往后推算：8081

六、集群提交测试

cd /usr/local/soft/spark-4.0.0-bin-hadoop3
./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://node11:7077 /usr/local/soft/spark-4.0.0-bin-hadoop3/examples/jars/spark-examples_2.13-4.0.0.jar

  网页查看： http://node11:8080/