hadoop2.7.5 集群搭建详细教程

于 2021-09-27 21:23:41 发布
阅读量680 收藏 5
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 自学笔记 大数据 集群搭建 文章标签： centos hadoop linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Andy86666/article/details/120366016
本文详细介绍了如何在CentOS7环境下搭建Hadoop2.7.5集群，包括模板机配置、克隆节点、集群配置以及启动与管理。涉及网络设置、SSH无密登录、环境变量配置、Hadoop相关配置文件修改等内容。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

hadoop2.7.5 集群搭建详细教程

在这里插入图片描述

先准备好：
hadoop2.7.5
secureCRT提取码：u3cd
jdk官网
centos7

一、模板机

1、虚拟机的网络适配器选择NAT

在这里插入图片描述

2、关闭centos的防火墙

systemctl stop firewalld
systemctl disable firewalld.service

3、将centos设置为自动连接网络

在设置中，找到网络，把有线设置为自动连接
在这里插入图片描述
在这里插入图片描述

4、让普通（andy）用户具有root权限

sudo vim /etc/sudoers

sudoers文件中找到##Allow people in group wheel to run all commands，并添加andy ALL=(ALL) NOPASSWD:ALL

在这里插入图片描述
注：andy是我的用户名
如果你没有创建用户，可以使用以下命令：
创建用户useradd 用户名
创建密码passwd 用户名
补充：vim 知识
在这里插入图片描述

5、设置静态ip、主机名和映射host

（1）设置静态ip
先查看IP地址,在终端中输入ifconfig
在这里插入图片描述
IP：192.168.23.10
我们将该ip设为静态的，下次开机ip就不会变了。（如果你想把这个IP地址改变，只需改变它的主机号，网络号不需要改变，最后重启 reboot）
命令：

sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33

在这里插入图片描述
把BOOTPROTO改为static
添加：
IPADDR=192.168.23.10
GATEWAY=192.168.23.2
DNS1=192.168.23.2
（2）设置主机名

sudo vim /etc/hostname

把里面的内容改成自己的主机名Hadoop01
在这里插入图片描述
（3）将主机名称映射hosts文件中

sudo vim /etc/hosts

添加的内容如下
在这里插入图片描述
根据自己的IP地址，填入连续的IP，后面的是主机名
注意：我们同样也需要把上面的ip地址映射到Windows的hosts中

C:\Windows\System32\drivers\etc

如果不能更改可以把hosts复制出来，修改后再替换即可

6、安装epel-release

sudo yum install -y epel-release

如果安装出现以下情况
在这里插入图片描述
解决：kill -9 进程号，在重新执行命令

7、卸载自带的openjdk，并创建/opt/module/和/opt/software

(1)卸载openjdk

rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

（2）创建/opt/module和/opt/software

sudo mkdir /opt/module
sudo mkdir /opt/software

修改/opt/module和/opt/software的所有权

sudo chown andy:andy /opt/module /opt/software

注：andy:andy是我的用户名

8、安装hadoop和jdk

（1）上传hadoop和jdk
用secureCRT连接linux后，安装yum -y install lrzsz，输入rz，找到hadoop和jdk文件位置。
注：找到文件后，要选择add。我把文件放在了/opt/software中
在这里插入图片描述

（2）安装hadoop和jdk，并配置文件
把文件解压到/opt/module中

tar -zxvf /opt/software/hadoop-2.7.5.tar.gz -C /opt/module/
tar -zxvf /opt/software/jdk-8u281-linux-x64.tar.gz -C /opt/module/

配置环境

sudo vim  /etc/profile.d/my_env.sh

添加

#JAVA HOME
export JAVA_HOME=/opt/module/jdk1.8.0_281
export PATH=$PATH:$JAVA_HOME/bin

#Hadoop
export HADOOP_HOME=/opt/module/hadoop-2.7.5
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

注：JAVA_HOME 和HADOOP_HOME是Hadoop和jdk的位置
保存后，输入source /etc/profile，让环境立刻起效
检验：hadoop和jdk是否安装好

hadoop 
java

在这里插入图片描述

在这里插入图片描述

二、克隆模板机

1、克隆centos，克隆其他两台：hadoop02、hadoop03

克隆之前，需要先关闭虚拟机。

在这里插入图片描述
在这里插入图片描述
一定选择创建完整克隆
在这里插入图片描述

2、修改克隆机的主机名和IP地址，两台都要修改

(1)修改主机名

sudo vim /etc/hostname

它们的主机名分别是hadoop02、hadoop03
因为是克隆的第一台，主机名和ip地址都是上一台的
（2）修改IP地址

sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改IPADDRKK
在这里插入图片描述
它们的IP分别是192.168.23.11和192.168.23.12
注：它们是我的IP地址，需要修改
（3）重启克隆的虚拟机

reboot

3、检查克隆虚拟机的主机名、IP地址、网络、hadoop和jdk

（1）检查主机名

hostname

（2）检查IP地址

ifconfig

检查是不是自己和设置的一样
在这里插入图片描述
（3）检查网络

ping www.baidu.com

在这里插入图片描述
（4）检查一下jak和hadoop
执行

java
hadoop

三、配置集群

1、创建ssh 无密登录

注：都是在普通用户
（1）生成公钥和私钥

ssh-keygen -t rsa

然后敲三次回车
在这里插入图片描述
然后生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
位置在：/home/用户名/.ssh
在这里插入图片描述
(2)将公钥发给hadoop01、hadoop02、hadoop03

ssh-copy-id hadoop01
ssh-copy-id hadoop02
ssh-copy-id hadoop03

注意：创建无密登录需要，分别在hadoop01、hadoop02、hadoop03都配置一下。

注：它们都是在普通用户下配置的无密登录，在普通用户创建的只能登陆普通用户的。
都在root用户创建无密登录，就能登录root用户了。
注：hadoop02 的ip地址已经映射到了hosts中

2、创建一个分享文件脚本，这样就方便把虚拟机的文件传给其他的虚拟机了

（1）在家目录下创建一个bin文件，并进入bin中

mkdir /home/用户/bin
cd bin

（2）在bin中创建xsync文件

vim xsync

添加的文件如下:
注意：需要把for host in hadoop01 hadoop02 hadoop03中的hadoop01、hadoop02、hadoop03改为自己的主机名，一定要改

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ] 
then
	echo Not Enough Arguement! 
	exit;
fi
#2. 遍历集群所有机器
for host in hadoop01 hadoop02 hadoop03 
do
	echo ====================	$host	====================
	#3. 遍历所有目录，挨个发送
	for file in $@ 
	do
	#4. 判断文件是否存在
	if [ -e $file ] 
	then
	#5. 获取父目录
		pdir=$(cd -P $(dirname $file); pwd)

		#6. 获取当前文件的名称
		fname=$(basename $file)
		 ssh $host "mkdir -p $pdir"
		rsync -av $pdir/$fname $host:$pdir 
	else
			echo $file does not exists!
	fi 
  done
done

该脚本主要是：rsync

（3）修改xsync的权限

sudo chmod 777 xsync

(4)测试脚本

xsync /home/用户/bin

把bin中的文件分发给其他虚拟机 hadoop01、hadoop02、hadoop03
（5）将它复制到/bin中，方便在全局中使用

sudo cp xsync /bin/

3、配置hadoop

集群规划
在这里插入图片描述

1）配置集群

提醒：注意value中的内容

（1）核心配置文件——core-site.xml
cd /opt/module/hadoop-2.7.5/etc/hadoop/
vim core-site.xml

在<configuration> </configuration>中添加内容：

<!--指定HDFS的NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop01:9000</value>
</property>
<!--指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-2.7.5/data</value>
</property>

注意：文件中的<value>hdfs://hadoop01:8020</value>、 <value>/opt/module/hadoop-3.3.0/data</value> 、<value>andy</value>中的内容，
第一个是hadoop01，这个是我的主机名
第二个是/opt/module/hadoop-2.7.5/data，这个是data的位置，注意路径是否存在；

在这里插入图片描述

（2）配置hadoop_env.sh
cd /opt/module/hadoop-2.7.5/etc/hadoop/
 vim hadoop-env.sh

在这里插入图片描述

添加：java的路径

export JAVA_HOME=/opt/module/jdk1.8.0_212

在这里插入图片描述

（3）HDFS配置文件——hdfs-site.xml
vim hdfs-site.xml

在<configuration> </configuration>中添加内容：

<!--指定secondaryNameNode的配置-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop03:50090</value>
</property>

注意value中内容：

<value>hadoop03:50090</value>

hadoop03是我的主机名

(4)yarn-env.sh的配置
cd /opt/module/hadoop-2.7.5/etc/hadoop/
 vim yarn-env.sh

添加：java的路径

export JAVA_HOME=/opt/module/jdk1.8.0_212
（5）YARN配置文件——yarn-site.xml
vim yarn-site.xml

在<configuration> </configuration>中添加内容：

<!-- Site specific YARN configuration properties -->
<!--Reducer获取数据的方式-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!--指定yarn的ResouManager的地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop02</value>
</property>

注意：<value>hadoop02</value>

（6）MapeRduce配置——mapred-env.sh
 vim mapred-env.sh

添加：java的路径

export JAVA_HOME=/opt/module/jdk1.8.0_212
(7)MapeRduce配置——mapred-site.xml

将 mapred-site.xml.template改为mapred-site.xml

cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

在<configuration> </configuration>中添加内容：

<!--指定MR运行在Yarn上-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
(8)将配置文件发给其他虚拟机
xsync /opt/module/hadoop-2.7.5/etc/hadoop

注意：在hadoop02和hadoop03上查看文件是否存在

 cat /opt/module/hadoop-2.7.5/etc/hadoop/core-site.xml
（9）配置slaves
vim slaves

添加主机名，如下：
在这里插入图片描述
同步该文件

 xsync /opt/module/hadoop-2.7.0/etc/hadoop/workers

注意：查看hadoop02、hadoop03是否接收到文件

 cat /opt/module/hadoop-2.7.5/etc/hadoop/workers

2）启动集群

(1)第一次启动需要初始化
cd /opt/module/hadoop-2.7.5
bin/hdfs namenode -format

会在 /opt/module/hadoop-2.7.5/下生成data和logs 文件
如果一会儿在运行集群中出现问题，需要把data和logs删除，在进行初始化
集群出现问题注意配置文件是否有问题

(2)启动HDFS
sbin/start-dfs.sh
(3)启动YARN，需要去hadoop02中启动
cd /opt/module/hadoop-3.3.0
sbin/start-yarn.sh
(4)用jps分别查看hadoop01、hadoop02、hadoop03启动情况

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3）创建集群启动的脚本和查看启动清楚的

（1）创建集群启动的脚本
vim /home/用户/bin/myhadoop.sh

输入内容：

#!/bin/bash

if [ $# -lt 1 ] 
then
        echo "No Args Input..."
        exit ;
fi

case $1 in 
"start")
        echo " =================== 启动 hadoop 集群 ==================="

        echo " --------------- 启动 hdfs ---------------"
        ssh hadoop01 "/opt/module/hadoop-2.7.5/sbin/start-dfs.sh" 
        echo " --------------- 启动 yarn ---------------"
        ssh hadoop02 "/opt/module/hadoop-2.7.5/sbin/start-yarn.sh" 
      
;;
"stop")
        echo " =================== 关闭 hadoop 集群 ==================="

   
        echo " --------------- 关闭 yarn ---------------"
        ssh hadoop02 "/opt/module/hadoop-2.7.5/sbin/stop-yarn.sh" 
        echo " --------------- 关闭 hdfs ---------------"
        ssh hadoop01 "/opt/module/hadoop-2.7.5/sbin/stop-dfs.sh"
;;
*)
        echo "Input Args Error..."
;;
esac

注意：/opt/module/hadoop-2.7.5是安装hadoop的路径，这里需要修改
修改权限并复制到/bin

chmod 777 myhadoop.sh
sudo cp myhadoop.sh /bin/

使用：
启动：myhadoop.sh start
停止：myhadoop.sh stop
(2)查看启动进程的脚本

vim /home/用户/bin/jpsall

输入内容如下：

#!/bin/bash

for host in hadoop01 hadoop02 hadoop03 
do
echo =============== $host ===============
ssh $host jps
done

修改权限并复制到/bin

chmod 777 jpsall
sudo cp jpsall /bin/
（3）将/home/用户/bin分发给其他机器
xsync /home/andy/bin/

补充知识：
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值