一、 Hadoop集群部署（2.9.2版）

原创 已于 2022-09-23 17:29:17 修改 · 3k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #hdfs #big data

于 2022-03-11 15:42:47 首次发布

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

保姆级安装教程系列——Hadoop集群安装（2.9.2版）

一、安装版本

jdk1.8.0_131、hadoop-2.9.2、CentOS-7-x86_64-DVD-2009.iso

二、创建3台虚拟机

1台主节点：master
2台从节点：slave1、slave2

三、配置网络

1. 配置文件

vim /etc/sysconfig/network-scripts/ifcfg-ens33

** 不要设置和我的一模一样！！！**
** 不要设置和我的一模一样！！！**
** 不要设置和我的一模一样！！！**

注解：
① IPADDR为IP地址
② GATEWAY为网关

2. 配置VMware Network Adapter VMnet8网络

该步骤需要在Windows系统中操作！！！
网络配置管理——VNnet8——协议4——属性
** 不要设置和我的一模一样！！！**
** 不要设置和我的一模一样！！！**
** 不要设置和我的一模一样！！！**
请添加图片描述
注解：物理机中的网段和网关须与虚拟机中的设置相同，且IP地址（最后三位数）不可相互冲突。

3. 重置网络

service network restart

4. 打开windows终端（Windows+R），查看是否可以ping通外网

请添加图片描述

5. 查看Centos是否可以ping通www.baidu.com

在这里插入图片描述

注意 ：
① 如果完成以上操作后，网络依旧不能ping通，考虑查看虚拟机网络编译器，查看NAT网段是否与配置相同。
② 3台机器进行相同的操作，配置相同网段的IP地址（最后3位不同）和相同的网关。

四、修改主机名

1. 修改主机名

vim /etc/hostname

在这里插入图片描述

2. 重启

reboot

3. 再次查看主机名是否更改

hostname

在这里插入图片描述
注意 ：此处主机名分别对应3台不同的机子：master、slave1、slave2，3台机子都要改主机名！否则无法完成后续的映射！

五、映射

1. 设置映射

vim /etc/hosts

添加3台机子的IP地址和主机名
在这里插入图片描述
注意 ：3台机子进行相同操作

2. 查看3台机是否相互ping通

在这里插入图片描述
注意 ：此处只贴了一张master ping slave1的图，一定要试验每一台机都能ping同其他两台，且ping通自己。

六、SSH免密登录

1. 查看是否安装ssh

rpm -qa | grep ssh

在这里插入图片描述
如上图：若已安装，则可直接使用；若未安装则使用命令 ：

yum -y install openssh
yum -y install openssh-server
yum -y install openssh-clients

2. 配置ssh配置文件

 vim /etc/ssh/sshd_config

① 修改第43行内容：去掉符号#
② 在其上面添加：RSAAuthentication yes
在这里插入图片描述

4. 重启sshd服务

systemctl restart sshd.service

5. 使用命令ssh-keygen生成公钥和密钥（中间敲3次回车）

6. 复制公钥到密钥文件中

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_key

7. 修改密钥文件权限

chmod 0600 ~/.ssh/authorized_keys

8. 共享公钥

ssh-copy-id -i ~/.ssh/id_rsa.pub root@slave1
# 其中需要输入的密码是：root用户密码

9. 当每一台机器都对每一个用户执行了共享公钥命令后，查看是否可以相互登录。

在这里插入图片描述
注意 ：此处只贴了一张master免密登录slave1的图，一定要试验每一台机都能免密登录同其他两台，且免密登录自己。

七、安装Java

1. 创建两个目录分别放软件安装压缩包和解压后的软件包。

mkdir /opt/module 放压缩包
mkdir /opt/software 放解压后的软件包

2. 安装rz命令：yum install lrzsz

3. 切换到目录/opt/module在该目录下进行上传压缩包 ：cd /opt/module

4. 输入命令：rz（选择要上传的压缩包，点击ADD并确定）

5. 解压软件包

tar -zxvf jdk-linux-x64.tar.gz -C /opt/software/
tar -zxvf hadoop-2.9.2.tar.gz -C /opt/software/

6. 配置文件：vim /etc/profile

在文件最后一行添加：

export JAVA_HOME=/opt/software/jdk1.8.0_131
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

7. 重启配置文件：source /etc/profile

8. 验证java是否安装：java -version

在这里插入图片描述

八、安装hadoop

1. 配置文件：

① vim /etc/profile
在最后一行添加：

export HADOOP_HOME=/opt/software/hadoop-2.9.2
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

之后重启文件：source /etc/profile

② vim /etc/profile.d/hadoop.sh
此为新建文件，添加内容：

export HADOOP_HOME=/opt/software/Hadoop-2.9.2
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

之后重启文件：source /etc/profile.d/hadoop.sh

剩余配置文件需切换此路径：cd /opt/software/Hadoop-2.9.2/etc/hadoop<\font>

③ vim hadoop-env.sh

#在第25行修改
export JAVA_HOME=/opt/software/jdk1.8.0_131
#在第26行添加
export HADOOP_SSH_OPTS='-o StrictHostKeyChecking=no'
#在第113行修改
export HADOOP_PID_DIR=${HADOOP_PID_DIR}/pids

④ vim mapred-env.sh

# 在第16行修改
export JAVA_HOME=/opt/software/jdk1.8.0_131
# 在第28行修改
export HADOOP_MAPRED_PID_DIR=${HADOOP_HOME}/pids

⑤ vim yarn-env.sh

# 在第23行修改
export JAVA_HOME=/opt/software/jdk1.8.0_131
# 在最后一行添加
export YARN_PID_DIR=${HADOOP_HOME}/pids

⑥ vim core-site.xml

# 输入：
<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://192.168.148.170:9000</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/software/hadoop-2.9.2/hdfsdata</value>
	</property>
	<property>
		<name>io.file.buffer.size</name>
		<value>131072</value>
	</property>
</configuration>

⑦ vim hdfs-site.xml

# 输入 ：
<configuration>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:/opt/software/hadoop-2.9.2/hdfsdata/dfs/name</value>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:/opt/software/hadoop-2.9.2/hdfsdata/dfs/data</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.dir</name>
	   <value>file:/opt/software/hadoop-2.9.2/hdfsdata/dfs/namesecondary</value>
	</property>
	<property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
	</property>
	<property>
        <name>dfs.replication</name>
        <value>3</value>
 </property>
	<property>
		<name>dfs.namenode.http-address</name>
		<value>0.0.0.0:50070</value>
	</property>
</configuration>

⑧ vim mapred-site.xml
复制文件mapred-site.xml.template并命名为mapred-site.xml：
cp mapred-site.xml.template mapred-site.xml

# 输入：
<configuration>
<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>master:19888</value>
	</property>
	<property>
		<name>mapreduce.job.maps</name>
		<value>2</value>
	</property>
	<property>
		<name>mapreduce.job.reduces</name>
		<value>1</value>
	</property>
</configuration>
	vim yarn-site.xml
输入：
<configuration>
<!-- Site specific YARN configuration properties -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
	</property>
	<property>
        <name>yarn.resourcemanager.scheduler.class</name>
       <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
	</property>
	<property>
		<name>yarn.resourcemanager.webapp.address</name>
		<value>${yarn.resourcemanager.hostname}:8088</value>
	</property>
	<property>
		<name>yarn.nodemanager.local-dirs</name>
		<value>${hadoop.tmp.dir}/nm-local-dir</value>
	</property>
</configuration>

⑨ vim slaves

# 删除localhost
# 输入：
slave1
slave2

2. 复制配置完成后的所有文件到其他两台机器上：

scp /opt/software/hadoop-2.9.2/etc/hadoop/* root@slave1:/opt/software/hadoop-2.9.2/etc/hadoop/
scp /opt/software/hadoop-2.9.2/etc/hadoop/* root@slave2:/opt/software/hadoop-2.9.2/etc/hadoop/

3. 关闭防火墙（永久关闭）：systemctl disable firewalld.service

4. 重启：reboot

5. 查看防火墙是否关闭：systemctl status firewalld.service

在这里插入图片描述

九、启动Hadoop

1. 格式化文件系统：hdfs namenode -format

2. 启动Hadoop：

① start-dfs.sh
在这里插入图片描述
② start-yarn.sh
在这里插入图片描述
③ mr-jobhistory-daemon.sh start historyserver
在这里插入图片描述

3. 验证是否成功：jps

① 主节点master：
在这里插入图片描述
② 从节点slave1、slave2：
在这里插入图片描述
在这里插入图片描述

4. 打开浏览器查看是否可以访问网页

注意 ：链接IP为自己设置的IP
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

centos7搭建hadoop2.9.2完全分布式+zookeeper部署+hbase部署
愿与你一起深度技术交流
06-16 1726
目录一、Hadoop完全分布式集群搭建部署1、配置静态IP2、关闭防火墙3、修改hostname 及 hosts映射4、创建Hadoop账号5、配置SSH6、安装jdk7、修改时区8、安装Hadoop9、配置Hadoop文件10、主机ping通centos11、启动hadoop进程可能遇到的问题：二、Zookeeper安装部署1、环境变量配置2、配置zoo.cfg文件3、创建myid文件4、启动三、Hbase安装部署1、首先解压重命名配置环境变量2、编辑hbase-env.sh文件3、编辑hbase-sit
Hadoop-2.9.2版本完全分布式部署
油腻大叔-AlexRomeo的博客
04-01 385
服务器分布说明 hadoop01 hadoop02 hadoop03 NN1 NN2 - ZKFC ZKFC - JN JN JN ZK ZK ZK DN DN DN 部署步骤 检查阶段 1. 检查环境是否安装了JDK、Zookeeper、Hadoop。 2. 检查Hosts文件是否做了IP和主机名的映射关系 3. 检查免密登录是否完成，测试三台服务器之间是否可...
hadoop-2.9.2
01-14
用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
hadoop-2.9.2.tar.gz
12-20
Hadoop是Apache的一款开源框架，使用java语言编写，可以通过编写简单的程序来实现大规模数据集合的分布式计算。工作在Hadoop框架上的应用可以工作在分布式存储和计算机集群计算的环境上面。 Hadoop具有高扩展性，其集群能够从单台机器扩展到数千台机器。 Hadoop 采用的是Apache v2协议，Hadoop基于Google发布的MapReduce论文实现，并且应用了函数式编程的思想。
Hadoop集群的安装搭建
最新发布
lxdhs的博客
04-11 2391
上面内容提供了详细的hadoop安装步骤,其中里面有hadoop安装前需要准备的步骤和hadoop安装配置的详细步骤。
hadoop2.9.2安装
qq_35383845的博客
05-06 218
解压 tar -zxvf hadoop-2.9.2.tar.gz -C /usr 配置hadoop环境变量 JAVA_HOME=/usr/java/jdk1.8.0_201 ZOOKEEPER_HOME=/usr/zookeeper-3.5.9 HADOOP_HOME=/usr/hadoop-2.9.2 PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin CLASSPATH=. export JA
hadoop2.9.2完全分布式模式核心文件配置
weixin_51938762的博客
03-04 286
hadoop2.9.2完全分布式核心文件配置
Hadoop 2.9.2 HA安装
MooKee_cc的博客
03-21 728
Hadoop 2.9.2 HA安装，命令顺序修正 关于hadoop 的几种安装方式，以及理论，这里已经说的很清楚。 但其中Hadoop HA 的安装，命令顺序有所不对，以及不全，本篇文章以楼主亲身经历，来补充完整，使刚开始的同学可以顺利进行安装。 各种配置文件在文章末尾有，话不多说，开始。 HA集群 启动顺序,无特殊说明的命令都在主节点上执行 1 先启动各个节点的 zookeeper。 bin/...
hadoop-2.9.2-Windows.zip
03-17
10. **故障排查**：学习如何通过日志文件、Hadoop的命令行工具以及Web界面诊断和解决运行时问题，确保Hadoop集群的稳定运行。 总之，"hadoop-2.9.2-Windows.zip"提供了一个方便的途径，让Windows用户能够体验和利用...
安装配置hadoop-2.9.2
weixin_40660141的博客
11-13 272
配置完成后进入/home/tools/hadoop-2.9.2/sbin目录，执行./start-all.sh。在浏览器中输入http://172.28.20.5:50070/即可进入hadoop网管页面，表示安装成功。下载hadoop-2.9.2.tar.gz解压，进入解压后目录hadoop-2.9.2。删除日志 ： 删除 logs文件夹下所有的东西：rm -rf logs/删除文件core-site.xml配置的tmp目录下的所有的东西。问题2：在启动Hadoop时，要多次输入主机密码。
hadoop2.9.2对应的hadoop.dll,winutils.exe
01-16
解决由一个HADOOP_HOME and hadoop.home.dir are unset报错引起的window环境连接调试远程hadoop的一系列问题(附使用说明)。亲测2.9.2/2.9.1均可用
hadoop 2.9安装步骤 详细
01-16
有安装doc文档说明希望对大家有用，本人也是按照文档自学的
hadoop2.9.2@win64
03-06
Hadoop在访问本地文件和hdfs文件系统时，需要使用本地库，本地库中使用了Windows的API来实现类posix的文件访问许可。而这个本地库的实现就是Hadoop.dll和winutils.exe 编译环境： hadoop2.7.7 - hadoop3.1.1 JDK1.7.0_80/JDK1.8.0_181 C# Compiler version 4.7.3062.0 maven 3.6.0 ProtocolBuffer 2.5.0 CMake 3.13.2 VS2010 mingw-w64 x86_64 8.1.0 请加星支持一下： https://github.com/caidaol/hadoopbuild
Hadoop下载 hadoop-2.9.2.tar.gz
07-06
摘要 Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella 在 2005 年合作开发。后来，Hadoop 被贡献给了 Apache 基金会，成为 Apache 基金会的开源项目。 Hadoop 是一种分析和处理大数据的软件平台，是一个用 Java 语言实现的 Apache 的开源软件框架，在大量计算机组成的集群中实现了对海量数据的分布式计算。 Hadoop 采用 MapReduce 分布式计算框架，根据 GFS 原理开发了 HDFS（分布式文件系统），并根据 BigTable 原理开发了 HBase 数据存储系统。 Hadoop 和 Google 内部使用的分布式计算系统原理相同，其开源特性使其成为分布式计算系统的事实上的国际标准。 Yahoo、Facebook、Amazon，以及国内的百度、阿里巴巴等众多
hadoop-2.9.2的64位本地库
06-09
Apache提供的hadoop本地库是32位的，而在64位的服务器上就会有问题，因此需要64位的版本。 该文件是手动编译的hadoop库文件中的本地库，将原native替换掉即可正常运行hadoop。
Hadoop2.9.2+Spark2.4.8安装
白杨Shayne的博客
05-13 1105
Hadoop2.9.2+Spark2.4.8安装
Hadoop 2.9 集群的安装
zhexiao
04-12 1457
安装hadoop 安装必备库 $ sudo apt-get install ssh $ sudo apt-get install rsync $ sudo apt-get install openjdk-8-jdk 安装hadoop $ wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.9.0/ha...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小汪不秃头~

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值