docker从零开始搭建Hadoop完全分布式(一)-Linux基础版安装与集群环境准备

本文介绍了如何使用Docker从零开始搭建一个Hadoop完全分布式集群。首先,从拉取Ubuntu镜像开始,通过创建和配置容器,包括更新apt、安装必要软件(如vim、ssh、rsync等),设置文件目录,上传并解压Hadoop和JDK,以及配置环境变量。然后,文章提到了可选的权限设置,如创建新用户并给予sudo权限。最后,介绍了如何复制容器以快速扩展为多节点集群,并记录容器IP以备后续配置。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

前言

一般用docker都是直接下载装有hadoop的镜像,但是这次为了复习一下hadoop的搭建以及linux的使用,决定从零开始搭建一个完全分布式的集群。

容器创建

记得在用VMware的时候,这一步特别麻烦,现在docker两行就搞定了。
首先拉取需要的镜像,我这里以ubuntu:18.04为例子

docker pull ubuntu:18.04

下载之后可以用docker images查看一下镜像
在这里插入图片描述
然后创建一个容器准备安装jdk、hadoop作为基础版本

docker run -it --name hadoop_base -h hadoop ubuntu:18.04 bash

在这里插入图片描述
成功进入创建的容器

容器配置

必做

apt

这个容器最开始没有vi/vim,所以先更新apt安装一下vim
apt update然后apt install vim,还没有修改镜像源,可能有点慢,阻塞了的时候可以敲一下回车;
有了vim就可以去修改镜像源,也可以不修改直接安装ssh服务apt-get install openssh-server和rsync
<

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值