Hadoop集群单机版搭建

最新推荐文章于 2025-04-17 09:55:22 发布

aruia

最新推荐文章于 2025-04-17 09:55:22 发布

阅读量344

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据

本文链接：https://blog.csdn.net/ningyunrui/article/details/83098595

大数据专栏收录该内容

6 篇文章

订阅专栏

1.准备
Java和hadoop环境都已经配置好(最好设置好免密!)
2.修改主机名和ip映射
vi /etc/hosts
在后边加入本机ip和主机名 192.168.17.120 zhiyou
在这里插入图片描述

3.修改配置文件
注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop
hadoop的配置文件在/usr/hadoop/hadoop-2.7.3/etc/hadoop下
cd /usr/hadoop/hadoop-2.7.3/etc/hadoop

伪分布式需要修改5个配置文件
3.1配置hadoop

3.1. 第一个：hadoop-env.sh
修改JAVA_HOME的路径
vi hadoop-env.sh
#第25行
export JAVA_HOME=/usr/java/jdk1.8.0_141
在这里插入图片描述
3.2. 第二个：core-site.xml

	<!-- 制定HDFS的老大（NameNode）的地址 -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://zhiyou:9000</value>
	</property>
	<!-- 指定hadoop运行时产生文件的存储目录[能自动生成目录] -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/zhiyou/hadoop/tmp</value>
    </property>

在这里插入图片描述

3.3. 第三个：hdfs-site.xml

<!-- 指定HDFS副本的数量 -->
        <property>
                    <name>dfs.replication</name>
                       <value>1</value>
        </property>
         <property>
              <name>dfs.namenode.name.dir</name>      			
              		     <value>/usr/local/hadoop/tmp/dfs/name</value>
        </property>
         <property>
              <name>dfs.datanode.data.dir</name>            
                        <value>/usr/local/hadoop/tmp/dfs/data</value>
        </property>

在这里插入图片描述
3.4. 第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
mv mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
由于一开始没有mapred-site.xml文件,需要把mapred-site.xml.template改成该文件进行配置

	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
    </property>

在这里插入图片描述
3.5. 第五个：yarn-site.xml

yarn.resourcemanager.hostname
zhiyou

yarn.nodemanager.aux-services
mapreduce_shuffle

在这里插入图片描述
4.格式化namenode（是对namenode进行初始化）
hadoop namenode -format

如果一开始配置出错,然后格式化了,最后发现错误从新格式化会导致一些服务起不来!
这时候需要删一些在格式化时创建的文件
1.首先找到hdfs-site.xml
在这里插入图片描述
将 dfs.namenode.name.dir所指定的目录删除、dfs.datanode.data.dir所指定的目录删除，及我们需要删除hdfs-site.xml中配置的存储信息路径。
2.删除core-site.xml配置文件指定的相关目录

然后重新格式化!

5.启动hadoop
先启动HDFS
sbin/start-dfs.sh

	再启动YARN
	sbin/start-yarn.sh

在这里插入图片描述
6.验证是否启动成功
使用jps命令验证

[root@zhiyou sbin]# jps
3912 DataNode
4378 Jps
4331 NodeManager
4093 SecondaryNameNode
3822 NameNode
4239 ResourceManager
在这里插入图片描述
7.关闭防火墙
#停止firewall
systemctl stop firewalld
systemctl disable firewalld.service #禁止firewall开机启动