安装部署 Spark Standalone 集群详细流程

0. 引言

本文主要介绍在 Linux 下安装 Spark Standalone 集群的详细流程。

1. Spark安装包下载

点击链接的页面下载

将 .tgz 安装包解压，我这里是解压到 /root 目录下:

tar -zxf spark-3.5.1-bin-hadoop3.tgz

可选，建议把解压后的文件夹重新命名

mv spark-3.5.1-bin-hadoop3 spark

2. 下载 Java

由于 Spark 底层是 Java 运行的，因此依赖 Java 的 JVM。在 Linux 下载 Java 如下：

apt update
apt install -y openjdk-8-jdk

3. 修改Hosts文件

为了方便直接用域名访问 worker 节点，建议配置好 Hosts 文件。

在 /etc/hosts 将域名和 IP 绑定，准备好几个节点就填几个。例如准备了1个主节点和2个 worker 节点，那么在 /etc/hosts 中：