三、Spark集群部署(2.3.3版)

该文详细介绍了如何在Linux环境下安装Spark2.3.3,包括下载特定版本的Spark和Hadoop,解压并赋予执行权限,配置Spark环境变量,修改slaves和spark-env.sh文件,将配置复制到集群中的其他节点,以及最后的启动和验证步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >


一、安装版本

spark-2.3.3-bin-hadoop2.7.tgz

下载地址:
链接:https://pan.baidu.com/s/1CwvZzQEeqE7uScblVL7zTg
提取码:oey0

二、安装Spark

  1. 解压安装包
tar -zxvf spark-2.3.3-bin-hadoop2.7.tgz -C /opt/software

其中-C 表示指定压缩文件路径

  1. 给权限
chown -R root /opt/software/spark-2.3.3-bin-hadoop2.7

三、配置文件

所有配置文件都存放在Spark安装目录/conf下,需要进入对应的路径

  1. slaves
    复制文件:cp slaves.template slaves
    将‘localhost’替换换为:

    slave1
    slave2
    
  2. spark-env.sh
    复制文件:cp spark-env.sh.template spark-env.sh
    在最后一行添加:

    export JAVA_HOME=/opt/software/jdk1.8.0_131
    export SPARK_HOME=/opt/software/spark-2.3.3-bin-hadoop2.7
    export SPARK_PID_DIR=${SPARK_HOME}/pids
    export HADOOP_CONF_DIR=/opt/software/hadoop-2.9.2/etc/hadoop
    
  3. vim /etc/profile.d/spark.sh
    ① 输入:

    export SPARK_HOME=/opt/software/spark-2.3.3-bin-hadoop2.7
    export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH
    

    ② 配完后将所有文件复制到其他两个节点上:

    scp -r /opt/software/spark-2.3.3-bin-hadoop2.7 root@slave1:/opt/software/spark-2.3.3-bin-hadoop2.7
    scp -r /opt/software/spark-2.3.3-bin-hadoop2.7 root@slave2:/opt/software/spark-2.3.3-bin-hadoop2.7
    scp -r /etc/profile.d/spark.sh root@slave1:/etc/profile.d/spark.sh  
    scp -r /etc/profile.d/spark.sh root@slave2:/etc/profile.d/spark.sh
    

    ③ 给权限到其他两个节点上

    chown -R root /opt/software/spark-2.3.3-bin-hadoop2.7
    

    ④ 重启:reboot

四、启动Spark

使用命令:/opt/software/spark-2.3.3-bin-hadoop2.7/sbin/start-all.sh
注意此处的文件的路径在自己安装Spark的路径中在这里插入图片描述

五、验证Spark方法

  1. 方法一:使用命令jps
    主节点:
    在这里插入图片描述

从节点:
在这里插入图片描述
在这里插入图片描述

  1. 方法二:进入浏览器访问网页http://192.168.148.170:8080
    注意此处的IP为自己的IP<\font>
    在这里插入图片描述
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小汪不秃头~

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值