使用docker部署hadoop集群-手把手复现

最新推荐文章于 2025-07-10 11:22:01 发布
最新推荐文章于 2025-07-10 11:22:01 发布
阅读量1.3w 收藏 117
点赞数 74
CC 4.0 BY-SA版权
分类专栏： 大数据 安装配置教程 文章标签： hadoop docker centos 大数据 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45034708/article/details/115413751
本文手把手教你如何在Docker环境下搭建CentOS7、JDK1.8和Hadoop3.2的集群，包括镜像创建、网络配置、SSH免密登录以及集群配置等关键步骤，适合初学者实践。

文章目录

在这里插入图片描述

版本

CentOs7
docker20
jdk1.8
hadoop3.2

手把手复现，有手就行。

可以使用虚拟机或服务器，白嫖服务器可参考：
学生党白嫖服务器-不会吧不会吧，你还在买学生机吗？
还可关注左侧公众号领取👈

安装docker

yum update #更新（询问输入y）

yum install -y yum-utils device-mapper-persistent-data lvm2 #安装依赖

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

yum install -y docker-ce #安装docker
 
systemctl start docker #启动docker

docker -v #查看docker版本

在这里插入图片描述
在这里插入图片描述

创建镜像

centos镜像

  1. 拉取centos镜像
docker pull centos

在这里插入图片描述

  1. 配置Dockerfile（ssh服务）
vim Dockerfile
#复制以下内容
FROM centos
MAINTAINER mwf

RUN yum install -y openssh-server sudo
RUN sed -i 's/UsePAM yes/UsePAM no/g' /etc/ssh/sshd_config
RUN yum  install -y openssh-clients

RUN echo "root:123456" | chpasswd #ssh密码可自定义，这里就写123456了
RUN echo "root   ALL=(ALL)       ALL" >> /etc/sudoers
RUN ssh-keygen -t dsa -f /etc/ssh/ssh_host_dsa_key
RUN ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key

RUN mkdir /var/run/sshd
EXPOSE 22
CMD ["/usr/sbin/sshd", "-D"]
#然后按Esc ：wq保存退出
  1. 生成镜像
docker build -t="centos7-ssh" . #镜像名可自定义
docker images #查看镜像

在这里插入图片描述
至此一个带ssh服务的centos镜像就安好了。

hadoop和jdk镜像

  1. 下载并上传安装包
    JDK
    百度网盘：https://pan.baidu.com/s/1_evTH6WlmXTnpSSAsstV9Q提取码eyu3
    在这里插入图片描述
    hadoop
    百度网盘：https://pan.baidu.com/s/1S9Sqwl3UN9cq2-dSdBGKRQ 提取码ca8s
    在这里插入图片描述

在这里插入图片描述

  1. 配置Dockerfile（jdk+hadoop）
    可以把之前的改名，或直接覆盖，注意版本号和你下载的对应。
mv Dockerfile Dockerfile.centos_ssh
vim Dockerfile
#复制以下内容
FROM centos7-ssh 
ADD jdk-8u281-linux-x64.tar.gz /usr/local/  
RUN mv /usr/local/jdk1.8.0_281 /usr/local/jdk1.8
ENV JAVA_HOME /usr/local/jdk1.8
ENV PATH $JAVA_HOME/bin:$PATH

ADD hadoop-3.2.2.tar.gz /usr/local
RUN mv /usr/local/hadoop-3.2.2 /usr/local/hadoop
ENV HADOOP_HOME /usr/local/hadoop
ENV PATH $HADOOP_HOME/bin:$PATH

RUN yum install -y which sudo
#然后按Esc ：wq保存退出
  1. 生成镜像
docker build -t="hadoop" .

在这里插入图片描述

配置网络

设置集群间的网络。

  1. 创建网桥
docker network create --driver bridge hadoop-br

在这里插入图片描述

  1. 启动三台（一主二从）并指定网络
docker run -itd --network hadoop-br --name hadoop1 -p 50070:50070 -p 8088:8088 -p 9000:9000 -p 16010:16010 -p 2181:2181 -p 8080:8080 -p 16000:16000 -p 9020:9020 -p 42239:42239 -p 60000:60000 hadoop
docker run -itd --network hadoop-br --name hadoop2 -p 16020:16020 hadoop
docker run -itd --network hadoop-br --name hadoop3 hadoop

在这里插入图片描述
3. 检查网络情况

docker network inspect hadoop-br

在这里插入图片描述

配置ssh免密登录

  1. 开三个窗口分别启动三个hadoop并配置host
docker exec -it hadoop1 bash #hadoop2、hadoop3
vi /etc/hosts
# 加入以下id和hostname,就是上一个图圈起来的
172.18.0.2 hadoop1 
172.18.0.3 hadoop2 
172.18.0.4 hadoop3

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  1. 设置免密
    三台机器都分别执行以下命令：
ssh-keygen
#一路回车
ssh-copy-id -i /root/.ssh/id_rsa -p 22 root@hadoop1
#输入密码就是前面的123456
ssh-copy-id -i /root/.ssh/id_rsa -p 22 root@hadoop2
#输入密码就是前面的123456
ssh-copy-id -i /root/.ssh/id_rsa -p 22 root@hadoop3
#输入密码就是前面的123456

在这里插入图片描述

（插播反爬信息 ）博主CSDN地址：https://wzlodq.blog.csdn.net/

  1. 测试
ping hadoop1 
ping hadoop2
ping hadoop3
ssh hadoop1
ssh hadoop2
ssh hadoop3
#记得exit

在这里插入图片描述

配置集群

以下操作在主节点hadoop1上执行即可：

docker exec -it hadoop1 bash#进入hadoop1
mkdir /home/hadoop #创建目录
mkdir /home/hadoop/tmp /home/hadoop/hdfs_name /home/hadoop/hdfs_data
cd /usr/local/hadoop/etc/hadoop/
  1. core-site.xml
#vi core-site.xml
	<property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop1:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/hadoop/tmp</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131702</value>
    </property>

在这里插入图片描述
2. hdfs-site.xml

#vi hdfs-site.xml
 <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/hadoop/hdfs_name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/hadoop/hdfs_data</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop1:9001</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>

在这里插入图片描述
3. mapred-site.xml

#vi mapred-site.xml
 <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop1:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop1:19888</value>
    </property>
    <property>
  		<name>yarn.app.mapreduce.am.env</name>
  		<value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
	</property>
	<property>
 	 <name>mapreduce.map.env</name>
 	 <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
	</property>
	<property>
	  <name>mapreduce.reduce.env</name>
	  <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
	</property>

在这里插入图片描述
4. yarn-site.xml

# vi yarn-site.xml
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop1</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>
  1. workers
#vi workers
hadoop2
hadoop3

在这里插入图片描述

配置环境变量

以下操作在主节点hadoop1上执行即可：

  1. dfs.sh
cd /usr/local/hadoop/sbin
vi start-dfs.sh#第二行添加如下4句
vi stop-dfs.sh#第二行添加如下4句

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

在这里插入图片描述

  1. yarn.sh
cd /usr/local/hadoop/sbin
vi start-yarn.sh#第二行添加如下3句
vi stop-yarn.sh#第二行添加如下3句

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

在这里插入图片描述
3. env.sh

cd /usr/local/hadoop/etc/hadoop
vi hadoop-env.sh#加入下面这句话
export JAVA_HOME=/usr/local/jdk1.8

在这里插入图片描述

  1. 添加变量
export JAVA_HOME=/usr/local/jdk1.8
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:/bin:/usr/bin:$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$PATH:$HADOOP_HOME/sbin
source ~/.bashrc #执行

也可以写到/etc/profile永久生效
在这里插入图片描述
5. 拷贝
将主节点hadoop1配置拷贝到从节点

scp -r /usr/local/hadoop/ hadoop2:/usr/local/
scp -r /usr/local/hadoop/ hadoop3:/usr/local/

启动测试

在hadoop1下执行

  1. 格式化hdfs
hdfs namenode -format
  1. 启动
start-all.sh

报错记录：cannot execute binary file: Exec format error
jdk环境问题
测试java -version，没有输出的话估计是兼容问题，比如32位系统用64位包或版本不对，输指令uname -m查看版本并下载对应jdk安装即可。

然后测试javac如果没有输出，估计是你的JAVA_HOME配置错了，输入java -version如果是自带的openjdk的话，配置一下就可以了，export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.292.b10-1.el7_9.aarch64（看你的对应路径下名字），如果切到这里面只有一个jre的话，还需要安装对应devel(通过yum search java|grep jdk查看)，如1.8openjdk对应安装yum install java-1.8.0-openjdk-devel.aarch64
然后记得修改上一步第四点的env.sh文件里JAVA_HOME路径。

  1. 测试
jps

在这里插入图片描述
若需要可开启历史服务

mr-jobhistory-daemon.sh start historyserver

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
开放8088端口，公网ip:8088
在这里插入图片描述

附：重启步骤

exit #退出docker容器
shutdown -r now #重启系统
systemctl start docker #启动docker服务
docker start hadoop1 #启动相应容器
docker start hadoop2
docker start hadoop3
docker exec -it hadoop1 bash #进入主节点
$HADOOP_HOME/sbin/./start-all.sh #启动集群

原创不易，请勿转载（本不富裕的访问量雪上加霜 ）
博主首页：https://wzlodq.blog.csdn.net/
微信公众号：吾仄lo咚锵
如果文章对你有帮助，记得一键三连❤

docker搭建hadoop集群（为分布式、完全分布式）
weixin_40548182的博客
08-27 1万+
第1章 写在前面必读 1.1 Hadoop生态简单说明 说明：hadoop只是一个存储数据的平台，mapreduce是一个计算框架，需要编程人员去编写处理数据的程序。然后hadoop是一个生态，就是说在其上还运行着hbase数据库，sqoop，shark等等工具，这样才能将hadoop存储的数据加以利用。Hbase是一种时序数据库，可用来往hadoop写数据，并通过hadoop读取数据，搭建这些的时候还要用到zookeeper软件去管理消息。总之hadoop生态涉及的东西太多，学习起来复杂，但是并不难，就是
在docker中部署Hadoop集群
weixin_64612559的博客
11-01 1044
在docker中部署Hadoop集群
Hadoop集群部署（docker）
weixin_43721284的博客
06-22 222
配置hadoop 在master节点上操作 vi etc/hadoop/workers 配置集群节点例如 配置的这些文件都在/usr/local/hadoop/etc/hadoop/目录下，一定要注意路径，配置文件中涉及到了路径 1、修改core-site.xml <configuration> <property> <name>hadoop.tmp.dir</name> <value>fi
docker安装hdfs
最新发布
YiRan_Zhao的博客
07-10 952
安装和运行 Hadoop 使用 Docker 是一种便捷的方式，特别是当你希望快速搭建一个开发或测试环境时。下面是一个简单的指南，帮助你通过 Docker 安装和运行 Hadoop。
使用docker部署hadoop集群的详细教程
01-09
最近要在公司里搭建一个hadoop测试集群，于是采用docker来快速部署hadoop集群。 0. 写在前面 网上也已经有很多教程了，但是其中都有不少坑，在此记录一下自己安装的过程。 目标：使用docker搭建一个一主两从三台机器的hadoop2.7.7版本的集群 准备： 首先要有一台内存8G以上的centos7机器，我用的是阿里云主机。 其次将jdk和hadoop包上传到服务器中。 我安装的是hadoop2.7.7。包给大家准备好了，链接：https://pan.baidu.com/s/15n_W-1rqOd2cUzhfvbkH4g 提取码：vmzw。 1. 步骤 大致分以下几步： 安装
docker构建hadoop集群
IT老吴的博客
05-26 466
1. 以ubuntu:16.04作为基础镜像。 2. 在基础镜像内安装一个hadoop，并制作成镜像hadoop。 3. 启动多个hadoop容器（一个master，两个slave）。 4. 验证hadoop集群可用性。 5. 使用hadoop集群。
docker部署hadoop集群
m0_63790435的博客
08-05 2266
docker部署hadoop集群；通过Dockerfile方式构建hadoop容器；hadoop职责划分为NameNode、DataNode、NodeManager、ResourceNode、2NN；HDFS、MapReduce、Yarn测试。
在docker上部署hadoop集群
10-29
教程：在linux虚拟机下（centos），通过docker容器，部署hadoop集群。一个master节点和三个slave节点。
docker-flink:使用 Docker-Compose 在 Docker 容器中部署 Apache Flink 集群
06-17
#Apache Flink 集群部署在 Docker 上使用 Docker-Compose ##安装###安装Docker 如果您遇到与 Docker 版本不兼容的 Docker-Compose 版本问题，请尝试curl -sSL https://get.docker.com/ubuntu/ | sudo sh ###Install ...
使用docker部署hadoop集群
u012632105的博客
04-01 196
使用docker部署hadoop集群
Docker部署Hadoop集群
weixin_52356946的博客
11-26 1299
Docker部署Hadoop
使用docker搭建hadoop分布式集群
qq_30312047的博客
08-04 507
使用docker搭建部署hadoop分布式集群 在网上找了很长时间都没有找到使用docker搭建hadoop分布式集群的文档，没办法，只能自己写一个了。 一：环境准备： 1：首先要有一个Centos7操作系统，可以在虚拟机中安装。 2：在centos7中安装docker，docker的版本为1.8.2 安装步骤如下： <1>安装制定版本的dockeryum install -y docker-1.8.2-10.el7.centos <2>安装的时候可能会报错，需要删除这个依赖
使用 Docker 安装 Hadoop 集群
m0_67400973的博客
08-27 2365
相信大家都有过玩虚拟机的经验，也相信大家有想搭一个大数据集群偶尔在自己电脑上做做测试。使用虚拟机是可以完成的，但是过程非常漫长，而且很多操作不能以后重复使用。这里我近期使用Docker完成了测试集群的搭建，我想用的时候，十几秒就可以直接启动，速度很快。而且所有的镜像都可以上传hub云端，想用的时候，从云端pull到任何一台有docker的电脑直接运行。而且，以往我们使用虚拟机搭建集群，我们需要配置很多的免密，甚至Hadoop等文件，我们需要上传到各个节点上。...
Hadoop集群docker部署整理
Wha1eFa11的博客
09-07 2186
本文是关于如何使用Docker部署Hadoop集群的详细指南。
基于Docker快速搭建Hadoop集群
一点千
01-02 430
### 1. 引言 开发环境使用Ubuntu Kylin16.04的系统，通过vmware-install.pl命令执行安装一直显示安装成功，但是却无法使用。最后通过使用apt-get找到一个安装包成功的解决了问题。命令如下,执行成功后，需要重新启动一下： > apt-get install open-vm-tools-desktop fuse > reboot 安装好vmware-too
五行命令使用docker搭建hadoop集群
一个真实、有温度的无名小卒
10-26 1225
前言 如果个人想搭建一个hadoop集群玩玩，之前都是采用虚拟机的模式，每个节点都要一套配置，非常的复杂，在网上看到有大佬已经做好了镜像和脚本，拿来五行命令就能使用了！ 拉取镜像 sudo docker pull kiwenlau/hadoop:1.0 克隆仓库 git clone https://github.com/kiwenlau/hadoop-cluster-docker 桥接网络 建...
docker-compose部署hadoop集群（高可用）—— 筑梦之路
筑梦之路
06-05 1947
hadoop高可用依赖组件zookeeper。
超详细的基于docker搭建hadoop集群
热门推荐
qq_48961214的博客
04-29 1万+
基于Docker搭建Hadoop集群
Hadoop Yarn RPC未授权远程代码执行漏洞复现
Armandhe的博客
11-15 2639
Hadoop Yarn RPC未授权远程代码执行漏洞第一时间复现
在CentOS上使用Docker部署Hadoop集群教程
标题：“hadoop-cluster-docker-centos”所涉及的知识点主要集中在如何使用Docker来部署一个运行在CentOS操作系统上的Hadoop集群。 Hadoop是一个开源的、基于Java的分布式存储与计算框架，主要用于处理大规模数据集...
评论 15
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

吾仄lo咚锵

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值