搭建完全分布式Hadoop

已于 2023-11-21 17:45:02 修改
阅读量1.1k 收藏 2
点赞数
分类专栏： Hadoop分布式入门 文章标签： 分布式 hadoop 大数据
于 2023-11-10 09:22:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/howard2005/article/details/134324290
版权

文章目录

一、Hadoop集群规划

在这里插入图片描述

二、在主节点上配置Hadoop

（一）登录虚拟机

  • 登录三个虚拟机
    在这里插入图片描述

（二）设置主机名

在这里插入图片描述

（三）主机名与IP地址映射

  • 执行命令：vim /etc/hosts
    在这里插入图片描述

（四）关闭与禁用防火墙

在这里插入图片描述

（五）配置免密登录

在这里插入图片描述

（六）配置JDK

在这里插入图片描述

export JAVA_HOME=/usr/local/jdk1.8.0_231
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

（七）配置Hadoop

1、上传安装包

  • 上传hadoop安装包
    在这里插入图片描述
  • 查看hadoop安装包
    在这里插入图片描述

2、解压缩安装包

  • 执行命令：tar -zxvf hadoop-3.3.4.tar.gz -C /usr/local
    在这里插入图片描述
  • 查看解压后的目录
    在这里插入图片描述

3、配置环境变量

  • 执行命令：vim /etc/profile
    在这里插入图片描述
export HADOOP_HOME=/usr/local/hadoop-3.3.4
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
  • 存盘退出，执行命令：source /etc/profile，让配置生效
    在这里插入图片描述
  • 查看hadoop版本，执行命令：hadoop version
    在这里插入图片描述

4、编辑Hadoop环境配置文件 - hadoop-env.sh

  • 进入hadoop配置目录，执行命令：cd $HADOOP_HOME/etc/hadoop
    在这里插入图片描述
  • 执行命令：vim hadoop-env.sh
    在这里插入图片描述
export JAVA_HOME=/usr/local/jdk1.8.0_231
export HADOOP_HOME=/usr/local/hadoop-3.3.4
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
  • 存盘退出，执行命令：source hadoop-env.sh，让配置生效
    在这里插入图片描述

5、编辑Hadoop核心配置文件 - core-site.xml

  • 执行命令：vim core-site
    在这里插入图片描述
<configuration>
    <!--用来指定hdfs的老大-->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <!--用来指定hadoop运行时产生文件的存放目录-->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop-3.3.4/tmp</value>
    </property>
</configuration>

6、编辑HDFS配置文件 - hdfs-site.xml

  • 执行命令：vim hdfs-site.xml
    在这里插入图片描述
<configuration>
    <!--设置名称节点的目录-->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/usr/local/hadoop-3.3.4/tmp/namenode</value>
    </property>
    <!--设置数据节点的目录-->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/usr/local/hadoop-3.3.4/tmp/datanode</value>
    </property>
    <!--设置辅助名称节点-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>master:50090</value>
    </property>
    <!--hdfs web的地址，默认为9870，可不配置-->
    <!--注意如果使用hadoop2.x，默认为50070-->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>0.0.0.0:9870</value>
    </property>
    <!--副本数，默认为3-->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <!--是否启用hdfs权限，当值为false时，代表关闭-->
    <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>
</configuration>

7、编辑MapReduce配置文件 - mapred-site.xml

  • 执行命令：vim mapred-site.xml
    在这里插入图片描述
<configuration>
    <!--配置MR资源调度框架YARN-->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

8、编辑YARN配置文件 - yarn-site.xml

  • 执行命令：vim yarn-site.xml
    在这里插入图片描述
<configuration>
    <!--配置资源管理器：master-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
    <!--配置节点管理器上运行的附加服务-->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <!--关闭虚拟内存检测，在虚拟机环境中不做配置会报错-->
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
</configuration>

9、编辑数据节点文件 - workers

  • 执行命令：vim workers
    在这里插入图片描述

三、从主节点分发到从节点

（一）从master节点分发到slave1节点

1、分发JDK

  • 执行命令：scp -r $JAVA_HOME root@slave1:$JAVA_HOME（注意，拷贝目录，一定要加-r选项）
    在这里插入图片描述
  • 在slave1节点上查看拷贝的JDK目录
    在这里插入图片描述

2、分发Hadoop

  • 执行命令：scp -r $HADOOP_HOME root@slave1:$HADOOP_HOME
    在这里插入图片描述
  • 在slave1节点上查看拷贝的hadoop目录
    在这里插入图片描述

3、分发环境配置文件

  • 执行命令：scp /etc/profile root@slave1:/etc/profile
    在这里插入图片描述

4、刷新环境配置文件

  • 在slave1节点上执行命令：source /etc/profile
    在这里插入图片描述

5、查看jdk和hadoop版本

  • 在slave1节点上执行命令：java -version
    在这里插入图片描述
  • 在slave1节点上执行命令：hadoop version
    在这里插入图片描述

6、分发主机名IP地址映射文件

  • 执行命令：scp /etc/hosts root@slave1:/etc/hosts
    在这里插入图片描述

（二）从master节点分发到slave2节点

1、分发JDK

  • 执行命令：scp -r $JAVA_HOME root@slave2:$JAVA_HOME（注意，拷贝目录，一定要加-r选项）
    在这里插入图片描述
  • 在slave2节点上查看拷贝的JDK目录
    在这里插入图片描述

2、分发Hadoop

  • 执行命令：scp -r $HADOOP_HOME root@slave2:$HADOOP_HOME
    在这里插入图片描述
  • 在slave2节点上查看拷贝的hadoop目录
    在这里插入图片描述

3、分发环境配置文件

  • 执行命令：scp /etc/profile root@slave2:/etc/profile
    在这里插入图片描述

4、刷新环境配置文件

  • 在slave2节点上执行命令：source /etc/profile
    在这里插入图片描述

5、查看jdk和hadoop版本

  • 在slave2节点上执行命令：java -version
    在这里插入图片描述

  • 在slave2节点上执行命令：hadoop version
    在这里插入图片描述

6、分发主机名IP地址映射文件

  • 执行命令：scp /etc/hosts root@slave2:/etc/hosts
    在这里插入图片描述

四、格式化名称节点

  • 执行命令：hdfs namenode -format
    在这里插入图片描述
    在这里插入图片描述
  • common.Storage: Storage directory /usr/local/hadoop-3.3.4/tmp/namenode has been successfully formatted. 表明名称节点格式化成功。

五、启动Hadoop集群

  • 启动hadoop服务，执行命令：start-all.sh
    在这里插入图片描述
  • 查看进程，执行命令：jps
    在这里插入图片描述
  • 如果缺少进程，大多是因为响应的配置文件有问题，请仔细对照检查
  • hadoop-env.sh没有刷新，导致HADOOP_CONF_DIR环境变量找到不到
  • core-site.xml，fs.defaultFS写成了fs.defaultFs，导致启动Hadoop之后，没有HDFS的三个进程：NameNode、SecondaryNameNode、DateNode
    在这里插入图片描述

六、初试HDFS Shell

在这里插入图片描述

（一）查看目录

1、命令

  • hdfs dfs -ls <路径>

2、演示

  • 执行命令：hdfs dfs -ls /
    在这里插入图片描述

（二）创建目录

1、创建单层目录

（1）命令
  • hdfs dfs -mkdir <单层目录>
（2）演示
  • 执行命令：hdfs dfs -mkdir /BigData
    在这里插入图片描述
  • 在slave1节点上查看新建的目录
    在这里插入图片描述

2、创建多层目录

（1）命令
  • hdfs dfs -mkdir -p <多层目录>
（2）演示
  • 在slave1节点上执行命令：hdfs dfs -mkdir -p /china/sichuan/luzhou/lzy
    在这里插入图片描述
  • 在master节点上查看新建的多层目录，执行命令：hdfs dfs -ls -R /china
    在这里插入图片描述
  • 说明：-R （- recursive）表示递归查看目录里全部东西

（三）上传文件

1、命令

  • hdfs dfs -put <文件> <路径>

2、演示

  • 执行命令：hdfs dfs -put /etc/hosts /BigData
    在这里插入图片描述
  • 查看上传的文件
    在这里插入图片描述
  • 执行命令：hdfs dfs -D dfs.replication=2 -put /etc/profile /BigData (上传文件时指定副本数)
    在这里插入图片描述
  • 查看上传的文件
    在这里插入图片描述
  • 修改副本数，执行命令：hdfs dfs -setrep 3 /BigData/profile
    在这里插入图片描述
  • 检验副本数是否已修改
    在这里插入图片描述

（四）查看文件内容

1、命令

  • hdfs dfs -cat <文件>

2、演示

  • 执行命令：hdfs dfs -cat /BigData/hosts
    在这里插入图片描述

（五）删除文件

1、命令

  • hdfs dfs -rm <文件>

2、演示

  • 执行命令：hdfs dfs -rm /BigData/hosts
    在这里插入图片描述
  • 查看文件是否真的被删除
    在这里插入图片描述

（六）删除目录

七、查看Hadoop WebUI

八、运行MR应用 - 词频统计

九、关闭Hadoop集群

windows搭建hadoop分布式系统架构
06-29 2658
1、下载hadoop的安装包：http://hadoop.apache.org/-&gt;Releases-&gt;mirror site 2、解压安装包：将下载包解压到指定目录，并添加环境变量；解压出来一个目录：D:\hadoop-3.1.0，将bin路径配置到环境变量中。 然后下载window相关支持工具类，https://share.weiyun.com/5RPjxnh，解压后把文件全部...
VMware上基于centos系统完全分布式Hadoop集群的搭建详解
m0_73901987的博客
05-25 2383
这里的防火墙是需要关闭的，这是因为我们搭建的是完全分布式系统，需要多个节点来进行通信，如果不关闭后序可能出现防火墙拦截我们Hadoop的通讯信息，这里不需要害怕防火墙关闭导致有病毒传入或者非法用户的入侵，在后续我们会在基于Hadoop集群的外围搭建项目的防火墙。启动创建的虚拟机，点击界面的开启此虚拟机。执行下面的命令来进入到系统的IP配置文件中，如果是其他的Linux系统，配置文件的配置是不相同的，但里面的文件是一致的，这里就讲述centos系统的IP配置文件的目录。
构建健壮的分布式系统
中生代技术
04-25 308
Kislay Verma读完需要5分钟速读仅需 2 分钟我是一位经验丰富的软件工程师，喜欢阅读、写作和发推文。我发布了一份名为 It Depends 的每周通讯和播客。目前，我正在带领一些团队在 Cult 打造出色的客户和合作伙伴体验。原文链接：https://kislayverma.com/software-architecture/building-robust-di...
Hadoop集群完全分布式搭建(保姆级教程)
最新发布
m0_53042880的博客
05-13 637
此次搭建实在伪分布的基础上进行完全分布式搭建,hadoop版本是3.3.1,安装目录是/opt/installs/hadoop。
分布式系统搭建
z19799100的博客
04-02 2617
一、特点 多个节点一起运行。 二、分析 1）准备3台客户机（关闭防火墙、静态ip、主机名称） 2）安装jdk 3）配置环境变量 4）安装hadoop 5）配置环境变量 6）安装ssh 7）配置集群 8）启动测试集群 三、虚拟机准备 克隆三个虚拟机，修改IP，主机名和IP映射即可 四、scp命令 说明：scp可以实现服务器与服务器之间的数据拷贝。 实操： 将zhiyo...
搭建简单的分布式系统
weixin_34199405的博客
07-03 1012
说明：传统项目中我们的Controller、Service、DAO、POJO都写在一个工程中，在分布式的项目中我们将每个模块分开。 项目分前台和后台两个部分： 前台是普通用户看到的网站，比如你看到的淘宝页面就是前台。 后台是公司内部的管理人员使用的，用于管理商品信息，比如淘宝的店主需要编辑商品。 父工程：分布式架构中，通常设计一个父工程，父工程中不写业务代码，只在pom文件中配置jar包的...
分布式系统搭建（CentOS7虚拟机）
words8的博客
03-09 782
VM版本：15.0.4 build-12990004 Linux： 7.9.2009 (Core) Hadoop: hadoop-2.8.0 JDK: jdk1.8.0_161 目录1、创建一台虚拟机进行基本配置2、 安装jdk和hadoop3、克隆两台虚拟机4、分布式系统配置5、启动分布式系统 1、创建一台虚拟机进行基本配置 这里就不进行虚拟机的创建了。这里额外创建了一个evil用户，之后利用evil用户进行hadoop的相关操作。 网络配置 命令：vim /etc/sysconfi.
搭建完全分布式Hadoop集群.doc
12-09
搭建完全分布式Hadoop集群是一个多步骤的过程，需要用户仔细阅读并按照官方文档进行操作。在这一过程中，充分理解Hadoop集群的工作原理和配置选项的含义是至关重要的。只有这样，才能确保所搭建的集群可以高效、稳定...
搭建完全分布式Hadoop系统以及基本操作案例
12-15
这是我们学校最近《大数据技术基础》课程的一次实验作业，我主要是参考[2023年黑马程序员的大数据入门到实践课程]中搭建hadoop系统的教学，本人觉得颇有意思，于是将其认真编辑成类似操作手册的实验报告。本人在搭建...
ubuntu18.04搭建完全分布式hadoop
04-02
使用vmware复制了三个ubuntu18.04虚拟机系统，模拟多台服务器，安装配置完全分布式hadoop。 想修改成免费的，不会修改。有问题可以留言一起交流
在Linux上搭建 伪分布式 -&amp;gt; 完全分布式hadoop集群
09-22
搭建伪分布式与完全分布式Hadoop集群是一个复杂的过程，涉及多个步骤和细节配置。首先，搭建集群的环境分为准备阶段和配置阶段。准备阶段需要搭建虚拟机环境，通常选择CentOS或Ubuntu作为操作系统，因为这两个系统对...
分布式系统环境搭建
weixin_41974027的博客
01-09 2593
一、系统架构3 二、项目环境搭建3 　　1.前端3 　　　　1.1负载均衡3 　　　　1.2前端技术框架----Vue.js（开发环境搭建）3 　　　　　　1.2.1 node.js安装3 　　　　　　1.2.2 cnpm安装脚手架vue-cli5 　　　　　　1.2.3构建vue项目6 　　　　　　1.2.4项目启动6 　　2.后台6 　　　　2.1 tomcat服务器6 　　　　　　2.1.1下载与安装6 　　　　　　2.1.2配置7 　　　　2.2 Re...
如何搭建一个分布式系统
红豆和绿豆的博客
06-03 997
(1) https://github.com/takeseem/diamond/tree/master
分布式系统搭建实战（上）
GitChat
11-27 501
分布式系统技术栈用到了很多开源免费的中间件，例如 Keepalived、Lvs、Nginx、MongoDB、Redis、Zookeeper、ActiveMQ、MyCat、Jenkins、Gradle、Sonar、Apollo、InfluxDB、Telegraf 等，那么如何部署这些中间件？我们应该采用怎样的部署策略？分布式系统搭建就是搭建分布式系统的基础设施，也是开发、测试、运维人员的必修课，这是...
分布式系统基本环境搭建
weixin_44390064的博客
09-24 908
微服务-注册中心、配置中心、网关 目录 简介 SpringCloud 的几大痛点 SpringCloud Alibaba 的优势： 版本选择 项目中的依赖 Nacos [作为注册中心] 下载 nacos-server 启动 nacos-server 将微服务注册到 nacos 中 在common模块中加入依赖 配置Nacos Server 地址 @EnableDiscoveryClient 开启服务注册 问题: Feign 声明式远程调用 简介 简介 Spring..
【go-fastdfs】go-fastdfs 分布式文件系统搭建
热门推荐
问题不大
05-24 1万+
文章目录【go-fastdfs】go-fastdfs 分布式文件系统搭建〇、缘起一、从头开始：FastDFS 简介二、主角出场：go-fastdfs (go语言版本的FastDFS)1.介绍2.安装3.配置4.启动5.使用三、数据美化：go-fastdfs-web 监控工具安装0.介绍1.安装2.配置3.部分截图四、写在最后：总结五、友情链接：其他相关文章 【go-fastdfs】go-fastd...
分布式系统搭建教程-nacos安装和启动
ashur619的博客
10-08 568
分布式系统搭建教程-nacos安装和使用。
分布式微服务搭建
weixin_72653197的博客
07-24 1239
基于Nginx作为web服务器、JDK作为Java运行环境、MySQL作为关系型数据库、Nacos作为服务发现和配置中心、Maven作为项目管理工具、Redis作为缓存和消息中间件（视具体需求而定）、Node.js与npm作为某些微服务（如前端服务或特定业务逻辑服务）的开发和依赖管理工具，可以搭建一个完整的分布式微服务架构项目。以下是一个简化的项目搭建例子，供其他项目参考
从零开始搭建完整分布式系统
wq8987的专栏
05-28 2948
构架方案：说明：负载均衡(2c4g)：2台lvs+keepalived作为负载均衡服务器，一主一备，实现高可用；反向代理(4c8g)：2台nginx作为web服务反向代理服以实现WEB服务的高可用；WEB服务器集群(4c8g)：2台服务器，每台服务器启用多应用的方式实现服务集群；缓存服务器(4c16g)：2台服务器实现redis服务端集群;数据库(8c16g)：2台MYSQL;相关软件安装说明与脚...
怎么搭建完全分布式Hadoop
05-12
要搭建完全分布式的 Hadoop，你需要按照以下步骤进行操作： 1. 配置 Java 环境：Hadoop 运行需要 Java 环境，你需要安装 Java 并配置好 JAVA_HOME 环境变量。 2. 安装 Hadoop：从 Apache Hadoop 官网下载最新版本的 Hadoop，解压缩后放到你想要安装的目录下，并配置好 Hadoop 的环境变量。 3. 配置 Hadoop：修改 Hadoop 的配置文件，包括 core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 等文件，根据你的需求进行修改。 4. 配置 SSH：在一个 Hadoop 集群中，各节点之间需要通过 SSH 进行通信，因此你需要在各节点之间设置 SSH 免密登录。 5. 启动 Hadoop：启动 Hadoop 集群，包括启动 HDFS、YARN 和 MapReduce 等组件。 6. 测试 Hadoop：通过运行一些 Hadoop 的命令和示例程序来测试 Hadoop 是否正常工作。 这些步骤涉及到的具体操作和配置需要根据你的环境和需求来进行调整，建议参考 Hadoop 官方文档和社区的经验分享来进行操作。同时，也可以考虑使用一些自动化的工具来简化 Hadoop 集群的搭建和管理，比如 Apache Ambari、Cloudera Manager 等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

酒城译痴无心剑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值