docker搭建hadoop

本文介绍了如何在Docker环境中搭建Hadoop集群。首先确保拥有CentOS7操作系统,然后在虚拟机中进行安装配置。遇到问题如datanode无法启动,可能是因为节点信息重复,解决方案是删除临时文件并重新格式化DFS。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

基本工具: VMware12.5.7    CentOS-7-x86_64-DVD-1708.iso

1. 首先要有一个Centos7操作系统,可以在虚拟机中安装。

2. yum install -y docker

3.构建centos 镜像

4.构建jdk镜像

5.构建hadoop镜像

具体过程请参考http://blog.csdn.net/xu470438000/article/details/50512442

(1) service command not found

注意下面命令,加上结尾语句

docker run --name hadoop0 --hostname hadoop0 -d -P -p 50070:50070 -p 8088:8088 qlei/centos-ssh-root-jdk-hadoop /usr/sbin/init
docker run --name hadoop1 --hostname hadoop1 -d -P qlei/centos-ssh-root-jdk-hadoop /usr/sbin/init
docker run --name hadoop2 --hostname hadoop2 -d -P qlei/centos-ssh-root-jdk-hadoop /usr/sbin/init


(2)出现如下错误,修改/etc/hosts文件,注意名称别重复:



(3)出现一个datanode,原因为scp的节点,clusterID等一样,把临时文件干掉,重新把dfs格式化下



评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值