本文详细介绍了如何在三个节点上搭建Spark集群，包括安装Scala软件包、配置环境变量、安装Spark软件包、修改配置文件指定主节点，以及启动和检查集群状态。确保节点间免密通信并逐项执行每个步骤是成功的关键。
以下操作除特殊说明外都在三个节点上操作。
注意：操作前务必使三台虚拟机可以互相免密通信！
一、安装Scala软件包
使用xftp将软件包上传至三台虚拟机的/usr/package文件夹下
创建工作目录
mkdir -p /usr/scala解压缩
cd /usr/package
tar -zxvf scala-2.12.12.tgz -C /usr/scala配置环境变量
vi /etc/profile加入以下内容
保存后退出，使环境变量生效
source /etc/profile检验是否安装成功
scala -version出现以下界面则为安装成功
二、安装Spark软件包
使用xftp将软件包上传至三台虚拟机的/usr/package文件夹下
创建工作目录
mkdir -p /usr/spark解压缩
cd /usr/package
tar -zxvf spark-3.0.3-bin-hadoop2.7.tgz
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
