Ubuntu20.04搭建Hadoop3.X完全分布式集群流程

已于 2023-07-15 10:41:46 修改
阅读量1.1k 收藏 21
点赞数 3
CC 4.0 BY-SA版权
文章标签： 分布式 hadoop
于 2023-07-04 20:20:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LenMonLy/article/details/131542321

Ubuntu20.04搭建Hadoop3.X完全分布式集群流程

一起学习！博主也是在学习摸索的过程中，欢迎指出错误。

一、前置条件

博主的配置: VMware Workstation 15 Pro + Ubuntu20.04 + Hadoop3.2.3

PS: Hadoop的下载可以到官网去下载，如果下载速度过慢，可以去 清华镜像站 下载,搜索apache在里面就可以找到hadoop。

网上也有很多相关教程，本博就不再细说。

二、虚拟机搭建

下面为三台虚拟机的hostname和ip地址

hostname Ip地址
master 192.168.64.129
slave1 192.168.64.128
slave2 192.168.64.130

以Ubuntu64为主机，命名为master（PS:为保证环境的纯净博主在原有用户上新建了hadoop用户作为master）

sudo useradd -m hadoop -s /bin/bash
sudo passwd hadoop //设置密码
sudo adduser hadoop sudo

网络配置

1.VMware网络配置

  • 打开虚拟机编辑里的虚拟网络编辑器，VMnet8(NAT模式)，记得去掉DHCP选项

  • 打开控制面板找到“服务”（可能在管理工具里）确保图中VM开头的服务打开
  • 打开网络共享中心，配置好图中选项，记得与前面虚拟机中相对应。
    2.Ubuntu网络配置
  • 打开浏览器查看是否有网，也可查看ip地址ifconfig
  • 如果没有显示inet地址，可以尝试以下方法。
    sudo vim /etc/NetworkManager/NetworkManager.conf

    如果存在上述文件可以尝试sudo vim /etc/network/interfaces
    编写如图，电脑端口(ens32)在查ip地址时可看见。
  • sudo vim /etc/netplan/01-network-manager-all.yaml修改内容，注意addresses与ip相同
最低0.47元/天 解锁文章
LenMonLy
关注
Ubuntu20.04中Hadoop安装教程
L_txi的博客
09-06 1486
Hadoop依赖于分布式环境中的节点自动执行任务，在搭建Hadoop集群的时候，SSH无密码登录可以使得各个节点之间相互通信（主节点启动，停止，监控从节点时）不需要人为干预，能够使得主节点能够通过SSH远程执行命令（停止，启动Hadoop进程）。Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，伪分布式需要修改2个配置文件。打开软件，点击下载jdk-8u........gz文件，会提示先下载百度网盘，点击下载.deb版本的，下载好后如图。
Ubuntu20.04环境下，安装hadoop
Mr_M1的博客
08-12 4688
踏坑采蘑菇的我又来了！我相信很多人在刚刚接触Hadoop的时候，安装就是一大难题，各种报错让人眼花缭乱，实属不易。我今天来说一下Oracle VM VirtualBox下的Ubuntu版本安装hadoop2.7.1的伪分布式。 问题描述：搭建hadoop伪分布式 首先，我简单说一下，目前hadoop环境的搭建大致可划分为四种，单机模式、伪分布式、完全分布式、高可用。如果是刚入门进行hadoop学习的，伪分布模式就足够了。 不管是百度网盘下载的，还是从哪个旮沓弄...
Ubuntu20.04搭建hadoop2.10.0集群.md
09-14
关于hadoop集群的搭建，详细讲述了如何搭建集群，配置文件以及如何启动，还有可能遇到的问题以及解决方案
在Ubuntu上搭建Hadoop群集
weixin_33674976的博客
12-19 84
前面我搭建的Hadoop都是单机伪分布式的，并不能真正感受到Hadoop的最大特点，分布式存储和分布式计算。所以我打算在虚拟机中同时开启3台机器，实现分布式的Hadoop群集。 1.准备3台Ubuntu Server 1.1复制出3台虚拟机 我们可以用之前编译和安装好Hadoop的虚拟机作为原始版本，在VirtualBox中复制三台新的虚拟机出来，也可以完全重新安装一台全新的Ubuntu S...
在Ubuntu中安装hadoop的详细过程
最新发布
濉溪的博客
04-19 1281
然后点击下一步，添加共享文件夹向导，选择浏览，选择主机路径，设置名称（名称可不改，看自己命名习惯），再点击下一步，再点击完成，最后点击确定，共享文件夹就设置成功了。注意: 下次启动 hadoop 时，无需进行 NameNode 的初始化，只需要运行 ./sbin/start-dfs.sh 就可以了。最后注销当前用户（点击屏幕右上角的齿轮，选择注销），返回登陆界面。如果在安装 Ubuntu 的时候不是用的 “hadoop” 用户，这时需要增加一个名为 hadoop 的用户。
Ubuntu20.04搭建hadoop集群
qq_42265170的博客
03-21 6494
❀因为学业原因，我需要学习在Ubuntu系统上面搭建出hadoop集群，此贴记录下我的搭建过程，防止以后自己忘记 首先需要提前搭建好Ubuntu系统，在系统中配置上静态ip Ubuntu20.04静态ip的配置： 第一步：cd /etc/netplan 第二步：修改其下名为01-network-manager-all.yaml的文件 vi 01-network-manager-all.yaml 第三步： 文件初始状态 增加内容 我的虚拟网络编辑器NAT模式下的WMnet8的子网地址为192.168.40.
Ubuntu22.04系统Hadoop集群搭建
2401_86445632的博客
08-17 1670
Ubuntu22.04系统Hadoop集群搭建
Ubuntu20.04安装Hadoop和Hive
热门推荐
weixin_38924500的博客
05-21 1万+
Ubuntu20.04安装Hadoop和Hive一、安装Mysql二、安装Hadoop1.1创建Hadoop用户（如果需要将本机的账户与Hadoop分开，可以新建一个新用户）2.1安装SSH2.2安装JDK14.0.13.1下载Hadoop-3.2.13.2伪分布式配置3.3查看安装是否成功三、安装Hive1.1下载Hive-3.1.21.2解压Hive到/opt目录下2.1配置Hive环境变量2.2创建hive-site.xml3.1将JDBC的jar包拷贝在/opt/hive/lib目录下3.2在/op
Ubuntu搭建Hadoop集群 - Blog
PG的博客
09-22 491
Hadoop 2.9.2 分布式集群环境搭建 一、所需软件及工具 VMware : https://www.vmware.com/cn/products/workstation-pro/workstation-pro-evaluation.html Ubuntu iso镜像文件 (这里笔者使用的是 18LTS版本)：http://mirrors.aliyun.com/ubuntu-releases/18.04/ 所需软件压缩包 hadoop-2.9.2.tar.gz：http://mir
在ubuntu系统上使用Hadoop搭建集群
vxstar的博客
09-02 1482
修改/etc/hosts文件添加主机名和ip的映射，使得免ip修改~/.ssh/config 文件使得免用户名。
ubuntu 搭建 Hadoop 完全分布式集群
CarveStone的博客
10-24 4914
文章目录Hadoop 相关软件及版本虚拟机参数配置准备工作分布式模式配置错误 Hadoop 相关软件及版本 软件 版本 Linux OS ubuntu-20.04.1 JDK jdk-8u261-linux-x64 VMware 15.5.6 Hadoop hadoop-2.7.7 虚拟机参数配置 master：1.5G ~ 4G 内存、20G 硬盘、NAT、1 ~ 4 核 slave1 ~ slave2：1G 内存、20G 硬盘、NAT、1 核 上面的虚拟机参数配置只是
Ubuntu 16.04 虚拟机下构建hadoop完全分布式集群
06-26
文档为本人亲自编写，由于能力有限，如发现错误，欢迎批评指正。同时，欢迎有安装过程中有问题的小伙伴们一起交流学习。
Ubuntu搭建Hadoop3.X分布式和高可用集群，一步步深入
qq_53663722的博客
08-22 4397
本文介绍了在Ubuntu操作系统上搭建Hadoop 3.x分布式和高可用环境的步骤。首先解释了Hadoop 3.x的架构和核心组件。然后，详细讲解了如何配置Ubuntu网络和主机名，安装Java和SSH，并生成SSH密钥。接下来，引导用户通过安装和配置Hadoop的各个组件（如HDFS、YARN和MapReduce）来搭建分布式集群。通过本文的指导，读者将能够快速地在Ubuntu上搭建Hadoop 3.x分布式和高可用环境。
Ubuntu20.04下Hadoop的安装与配置
MecuryJerry的博客
08-13 4155
Hadoop 伪分布式配置 创建Hadoop用户： 1.sudo useradd -m hadoop -s /bin/bash # 创建hadoop用户 2.sudo passwd hadoop # 修改密码 3.sudo adduser hadoop sudo # 增加管理员权限 注销并使用 Hadoop 用户登录，接着更新 apt 并且安装 vim： 1.sudo apt-get update # 更新apt 2.sudo apt-get install
Ubuntu16.04 下 hadoop的安装与配置（伪分布式环境）
anyanzhuo9864的博客
09-28 3077
注：本文有参考 这篇文章 ，但因其中有部分错误，所以在实际操作中遇到了很大的困扰，于是写成了这篇文章供大家使用 一、准备 1.1创建hadoop用户 $ sudo useradd -m hadoop -s /bin/bash #创建hadoop用户，并使用/bin/bash作为shell $ sudo passwd hadoop #...
Ubuntu搭建hadoop集群
weixin_42764122的博客
03-07 695
1.先创建一个干净的虚拟机 1、虚拟机搭建一台Ubuntu16.04系统，root登录 2.·修改主机名为master vim /etc/hostname 修改本机的静态ip地址· vim /etc/network/interfaces ·重启网络生效：/etc/init.d/networking restart ·ifconfig看ip是否配置成功 3.addgroup hadoop addus...
ubuntu搭建hadoop集群
weixin_38705082的博客
06-26 242
ubuntu搭建hadoop集群 1.下载安装jdk1.8，所有的虚拟机都要配置 修改/etc/profile export JAVA_HOME=/home/jiuzhang/jdk1.8.0_191 export JRE_HOME=/home/jiuzhang/jdk1.8.0_191/jre export CLASSPATH=.:JAVAHOME/lib:JAVA_HOME/lib:JAVAH...
Ubuntu搭建hadoop集群（分布式）
qq_39852472的博客
10-30 791
一： 准备条件：两台ubuntu虚拟机，两台虚拟机的ip处于同一网段   此过程搭建都是在root用户下搭建的，避免遇到新手最怕和最常遇到权限不足的问题 二：基本环境变量 1：增加root用户 #：sudo passwd 创建root用户,然后输入root密码 2：修改主机名 注意下文中的 vivim nano 都是文本编辑器，他们的功能相同，但是具体操作不同
Ubuntu 20.04 搭建hadoop 集群
m0_67403073的博客
04-27 751
文章目录 1. 虚拟机的安装 1.1 下载VMware Workstation 1.2 下载ubantu20.04 1.3 安装一台虚拟机 1.4 安装Vmware Tools 2. 网络配置 2.1 添加权限 2.2 DHCP动态分配IP地址 2.3 配置静态IP地址 2.4 主机名和IP地址映射 3. 安装必要工具 3.1 安装SSH 3.2 安装JDK 3.3 安装Mysql 3.4 安装ZooKeeper 3.6 安装Hadoop 4. 配置相关文件 4.1 修改had
ubuntu20.04安装hadoop分布式
03-14
### Ubuntu 20.04 上安装和配置 Hadoop 分布式集群 #### 创建专用用户 为了保持系统的纯净度并提高安全性，建议创建一个新的用户来运行 Hadoop 集群。命令如下： ```bash sudo useradd -m hadoop -s /bin/bash sudo passwd hadoop sudo adduser hadoop sudo ``` 这组指令会建立名为 `hadoop` 的新用户，并赋予其管理员权限[^2]。 #### 安装 SSH 服务 确认主机已安装并启用了SSH服务对于后续操作至关重要。可以通过以下命令验证是否已有SSHD进程正在运行： ```bash sudo ps -e | grep ssh ``` 如果未发现任何输出，则需通过包管理器安装 OpenSSH Server: ```bash sudo apt update && sudo apt install openssh-server ``` 确保服务正常启动后继续下一步配置[^3]。 #### 下载与解压缩 Hadoop 发行版 前往 Apache 官方网站获取最新稳定版本的二进制分发文件，上传至目标服务器或者直接利用wget工具下载到本地磁盘空间中；接着使用 tar 命令将其展开到指定位置，比如 `/usr/local/` 文件夹下。 假设当前工作路径位于根目录： ```bash cd ~ wget https://archive.apache.org/dist/hadoop/core/hadoop-2.10.1/hadoop-2.10.1.tar.gz tar zxvf hadoop-2.10.1.tar.gz -C /usr/local/ ``` #### 设置环境变量 编辑全局 profile 文件以便让所有登录 shell 用户都能识别 HADOOP_HOME 及关联路径。打开文本编辑器修改该文件，在末尾追加相应声明语句： ```bash vi /etc/profile export HADOOP_HOME=/usr/local/hadoop-2.10.1 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin source /etc/profile # 应用更改 ``` 上述过程使得可以在任意地方调用 Hadoop 提供的各种命令而无需指明绝对路径[^5]。 #### 修改核心配置文件 进入先前解压出来的 Hadoop 目录下的 etc 子目录，这里存放着多个 XML 格式的参数定义文档。主要关注以下几个方面： - **core-site.xml**: 设定 NameNode 地址以及其他基本属性； - **hdfs-site.xml**: 规划 DataNodes 数量以及副本因子等细节； - **yarn-site.xml**: 负责 YARN 组件间的通信机制调整； - **mapred-site.xml**: 明确 MapReduce JobTracker 和 TaskTrackers 行为模式。 具体设置依赖于实际应用场景和个人偏好，请参照官方指南完成个性化定制[^4]。 #### 初始化并启动集群 一切准备就绪之后就可以执行必要的初始化动作了——格式化 namenode 并开启各个守护线程： ```bash hdfs namenode -format start-dfs.sh start-yarn.sh jps # 查看 Java 进程状态以检验各节点是否成功上线 ``` 此时应该能够看到代表不同角色的工作单元被激活，标志着整个分布式计算框架搭建完毕！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值