Hadoop集群的安装搭建

共群

已于 2025-05-07 20:05:56 修改

阅读量2.2k

点赞数 50

CC 4.0 BY-SA版权

文章标签： hadoop 大数据分布式

于 2025-04-11 00:20:04 首次发布

本文链接：https://blog.csdn.net/lxdhs/article/details/147046572

一、准备步骤：

1.创建虚拟机:

傻瓜式安装就行,ISO印象文件自己必须下载一个就行

2.关闭防火墙：

代码如下（示例）：systemctl stop firewalld #关闭防火墙

systemctl status firewalld #查看防火墙状态

3.配置静态IP地址

代码如下（示例）：vi /etc/sysconfig/network-scripts /ifcfg-ens33

需要改的东西：

dhcp改为static

ONBOOT的no改为yes

BOOTPROTO：设置为 dhcp 表示使用 DHCP 自动获取 IP 地址；设置为 static 表示手动配置静态 IP 地址。

ONBOOT：设置为 yes 表示在系统启动时自动启用该网络接口

重点:按照这里面的配置IP地址和子网掩码和默认网关

IPADDR：静态 IP 地址

NETMASK：子网掩码。
GATEWAY：默认网关。

DNS：服务器

注:三台机子都要分别配置自己的IP地址

例子:三台机子的IP地址

192.168.28.100

192.165.28.101

192.168.28.102

重新启动网络：service network restart

ping一下百度地址看网络是否连接

4.配置主机名:

hostnamectl set-hostname   主机名

注:配置完主机名后需要重启才会更改,三台虚拟机都需要进行

编辑hosts文件

vi /etc/hosts

192.168.28.100 master
192.168.28.101 s1
192.168.28.102 s2

/etc/hosts :文件的主要作用是提供一个静态的主机名到 IP 地址的映射。在系统启动时，它会被读取，用于快速解析主机名到 IP 地址

注:三台机子都需要进行

它可以互相连通这三台机子

用ping s1 #检查是否连通了其它主机

5.下载ssh远程连接工具:

需要先安装一个ssh远程连接工具:你可以直接把下载的文件上传的虚拟机中

我下载的是xshell 8

主机这里填写你的IP地址

下载传输文件:

yum install lrzsz

通过rz命令就可以win系统里面往虚拟机传输文件了

rz hadoop-3.1.3.tar.gz /opt/module

6.配置免密登录:

ssh-leygen -t rsa # 一路回车就行,有问号输y

它用来在~/.ssh/下生成文件 id_rsa(私钥) id _rsa.pub（公钥）

将公钥拷贝到另外三台机器中分别执行以下三行:

ssh-copy-id master

ssh-copy-id s1

ssh-copy-id s2

注:我的主机名是tang,你们输你们的就行,三台虚拟机子都要重复弄上面的步骤就可以互相免密登了

登录其它虚拟机的方法:

ssh s1

exit 返回原来的用户

7.创建安装包文件夹和软件文件夹

安装包文件:software

mkdir -p /opt/software

软件文件夹:module

mkdir -p /opt/module

安装步骤:

第一步:安装配置jdk:

1.下载jdk

下载地址:Java Downloads | Oracle 中国

2.压缩jdk安装包

tar -xzvf jdk-8u212-linux-x64.tar.gz /opt/module

重新命名jdk:

mv jdk-8u212-linux-x64.tar jdk

3.编辑jdk环境变量

vi /etc/profile

添加如下内容:

export JAVA_HOME=/opt/modlue/jdk #这里需要写你自己的jdk安装路径
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

重新启动系统环境:source /etc/profile

测试: java -version
javac

#出现这些说明你的jdk就已经配置完成了

第二步:安装配置hadoop:

1.下载hadoop:

hadoop官方网站:https://hadoop.apache.org/

2.压缩hadoop安装包:

tar -xzvf hadoop-3.1.3.tar.gz /opt/module

更名hadoop文件名字:

mv hadoop-3.1.3.tar hadoop

3.配置hadoop系统环境变量:

vi /etc/profile

添加如下内容:
export HADOOP_HOME=/opt/module/hadoop #这个需要改成你自己的hadoop安装路径

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

启动:source /etc/profile

4.修改hadoop配置文件:

(1) 修改hadoop-env.sh

添加内容:

export JAVA_HOME=/opt/module/jdk

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root

export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

(2) 修改core-site.xml

添加的内容:

<property>
<name>fs.defaultFS</name>
<value>hdfs://tang:8020</value> #这里要改成自己的主机名
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop/data</value> #改成自己的路径
</property>
<property>
<name>hadoop.http.staticuser.user</name>
<value>root</value>
</property>
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>

3.修改hdfs-site.xml

<property>

<name>dfs.namenode.secondary.http-address</name>
<value>s1:9868</value> #这里改成你自己的其它虚拟机的主机名
</property>

(4) 修改mapred-site.xml

添加的内容:

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>tang:10020</value> #这里改成自己的主机名
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>tang:19888</value> #这里改成自己的主机名
</property>
<property>
<name>yarn.app.mapreduce.am.env</name>
<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
<name>mapreduce.map.env</name>
<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>
<property>
<name>mapreduce.reduce.env</name>
<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
</property>

(5) 修改yarn-site.xml

添加内容:

<property>
<name>yarn.resourcemanager.hostname</name>
<value>tang</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>