hadoop3.0伪分布式集群搭建

最新推荐文章于 2023-12-25 22:44:49 发布
最新推荐文章于 2023-12-25 22:44:49 发布
阅读量656 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据 文章标签： hadoop Hadoop集群 hadoop伪分布集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a1135497143/article/details/81915649
本文档详细介绍了如何在CentOS7环境下，使用hadoop3.0.3和jdk8搭建Hadoop伪分布式集群。从安装配置JDK开始，包括配置静态IP、修改主机名、关闭防火墙，到创建用户、目录，上传并解压Hadoop安装包，再到配置各个核心文件如hadoop-env.sh、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、workers，以及设置环境变量和实现SSH免密登录。最后，通过执行相关命令启动、停止集群，并验证集群运行状态和进行简单的MapReduce测试。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

个人博客原文链接

搭建环境：CentOS7+hadoop3.0.3+jdk8

前提准备

  1. 安装配置jdk
  2. 配置静态ip地址
  3. 修改主机名
  4. 配置主机名和ip地址映射
  5. 关闭防火墙，设置开机不自启动
    注：以上操作在笔者之前的Linux相关笔记中均有介绍

正式搭建集群

  1. 添加用户hadoop
    useradd hadoop
    passwd hadoop
    注：后面都统一在hadoop用户下操作，统一权限
  2. 创建目录
    mkdir -p /home/hadoop/apps/dfs/data
    mkdir /home/hadoop/apps/dfs/name
    mkdir /home/hadoop/apps/tmp
  3. 上传并解压hadoop-3.0.3.tar.gz
    sftp上传
    tar -zxvf hadoop-3.0.3.tar.gz apps/
  4. 配置hadoop-env.sh
    vi /home/hadoop/apps/hadoop-3.0.3/etc/hadoop/hadoop-env.sh
    找到export JAVA_HOME
    并添加
    export JAVA_HOME=/usr/local/jdk
  5. 修改核心配置文件core-site.xml
    vi core-site.xml
    在configuration标签中添加属性
    <configuration>
    <property>
最低0.47元/天 解锁文章

200万优质内容无限畅学
Ubuntu16.04环境下搭建Hadoop3.0.3伪分布式集群
菜鸟不会飞
11-14 2038
    最近刚好赶上双11腾讯促销，于是抢购了一个8核16G内存的云服务器，加上业务上需要用到hadoop，hive，于是想搭建搭建一个hadoop分布式集群，但是限于自己手头上服务器数量不多，因此打算先搭建一个hadoop伪分布式集群。   首先介绍一下我的安装环境：   （1）java version        （2）hadopp version     接下来，开始我的环境搭...
Hadoop伪分布式平台搭建
最新发布
qq_74137843的博客
04-26 1413
搭建Hadoop伪分布式环境是在单台机器上模拟完整的Hadoop分布式系统，使得所有的Hadoop守护进程（如NameNode、DataNode、ResourceManager、NodeManager等）都在同一台机器上运行。这样可以在一台机器上体验Hadoop的分布式特性，适合学习、测试和开发。
Centos7 + Hadoop3 搭建伪分布式集群
01-07
操作系统：Centos7 Java：jdk-8u162-linux-x64 hadoop：hadoop-3.2.1 终端连接软件：SecureCRT 关于Centos7的网络配置可以看我的另一篇博客：Centos7的网络配置 一、利用SecureCRT上传文件到root目录 二、关闭防火墙 按顺序执行命令：iptables -F;iptables -X;iptables -Z;iptables -L、iptables-save、setenforce 0 vi /etc/selinux/config 改：SELINUX=Enfocing—>SELINUX=disable 三、ssh免密登录
hadoop3.03伪分布式
helloWorldAndYou的博客
09-11 369
参考资料 jdk安装 环境依耐： ssh,jdk,相关配置java_home,ssh免密登陆；时间同步hosts,hostname修改。 hadoop： 准本安装目录,配置文件修改，角色启动 安装 1./etc/profile 配置hadoop安装目录 export HADOOP_HOME=/usr/hadoop/hadoop-3.0.3 export PATH=PATH:P...
Hadoop3.0伪分布式搭建
24koby
03-20 259
1、vim hadoop.env.sh export JAVA_HOME=你的java安装目录 export HDFS_NAMENODE_USER=root export HDFS_DATANODE_USER=root export HDFS_SECONDARYNAMENODE_USER=root 2、
hadoop3.0.3单机伪分布式环境搭建
charberming的博客
01-06 530
系统环境：Centos7 虚拟机一台 Hadoop版本：3.0.3 Jdk1.8 笔记从安装虚拟机，下载hadoop包，jdk包之后说起。 第一步：将压缩包解压缩 tar -xvf 压缩包的名字 第二步：设置jdk的系统环境变量和hadoop的环境变量 vim /etc/profile 添加环境变量 export JAVA_HOME=/software/jdk1...
Hadoop3.0分布式集群搭建(HA)详细文档.docx
05-22
Hadoop 3.0 分布式集群搭建（HA）详细文档 本资源摘要信息主要介绍了 Hadoop 3.0 分布式集群搭建的详细步骤和要求，从搭建前的准备工作到集群的安装和配置，涵盖了主机规划、软件规划、用户规划、数据目录规划、...
Hadoop3.0版本分布式搭建
05-22
### Hadoop 3.0 分布式集群搭建详解 #### 一、概述 Hadoop 是一个能够对大量数据进行分布式处理的软件框架。Hadoop 的核心是 HDFS 和 MapReduce，其中 HDFS 用于存储数据，MapReduce 则提供了一个大规模数据集的...
Hadoop3.0.0完全分布式集群搭建
qq_38332453的博客
06-25 1530
Hadoop3.0.0完全分布式集群搭建1、前言2、准备工作3、环境准备4、集群搭建步骤5 修改每台机器主机名(hostname)6、配置ssh，实现无密码登录7、开始配置hadoop8、 启动Hadoop 1、前言 Hadoop环境搭建分为三种形式：单机模式、伪分布式模式、完全分布模式 单机模式—— 在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。 伪分布式—— 也是在一台单机上运行，但不同的是Java进程模仿分布式运行中的各类节点。即一台机器上，既当NameNode，又当Dat
部署Hadoop3.0高性能集群——伪分布式部署
pkloi的啵啵啵啵博客
04-10 1018
目录 介绍： 一、环境搭建 (1) 进行实验前准备，在VMware上安装一台CentOS7虚拟机，虚拟机的IP及机器名称如下（安装了可以忽略这一步） (2) 机器上配置hosts文件，实现域名与IP地址的对应，具体如下：（真实生产系统中在ＤＮＳ服务器上配置）　 (3)创建运行hadoop用户账号和Hadoop目录。 (4)安装Java环境JDK （4）关闭防火墙并让防火墙不会...
【教程】Hadoop3.0.3 通过 VirtualBox Ubuntu 实现伪分布集群搭建
07-31
笔者在公司实习期间所做的一个Hadoop集群搭建的详细教程，在这里分享给大家。此教程包含搭建的每一个步骤，如果有问题可以留言，大家一起讨论。
Hadoop伪分布式集群搭建
StefanJ的博客
02-22 1061
1.放入安装包 2.解压 tar -zxvf hadoop-2.7.3.tar.gz -C /usr/local/ 3.导入JDK安装包 4.解压JDK安装包 tar -zxvf jdk-8u241-linux-x64.tar.gz -C /usr/local/ 5.修改配置文件的路径 cd /usr/local/hadoop-2.7.3/etc/hadoop 4.修改hadoop-env.sh的文件 vi hadoop-env.sh 添...
基于CentOS搭建hadoop-3.1.3的伪分布式集群
qq_55524511的博客
09-01 2480
本文是一个彻彻底底的小白在参考了许多大佬的文章后，成功搭建了基于centos7的hadoop-3.1.3版本的伪分布式集群的具体过程，里面有配置所需代码和运行结果截图，还有对一些配置代码的详细说明。
hadoop伪分布式集群搭建
url_list的博客
03-17 1415
关闭防火墙 systemctl stop firewalld systemctl disable firewalld 修改hostname vim /etc/hostname 配置映射 vim /etc/hosts 配置静态ip vim /etc/sysconfig/network-scripts/ifcfg-ens33 配置免密登录 ssh hadoop100 cd .ssh ssh-keygen -t rsa ssh-copy-id hadoop100 安装jdk和hadoop 其他博客有介
Hadoop伪分布式集群的搭建【详细教程】
qq_63834914的博客
12-25 5708
本文是基于jdk8和CentOS6配置的Hadoop伪分布式集群，步骤详细，希望能帮助到给位小伙伴们，有什么不足的请多多包含。
创建并配置一个伪分布式Hadoop3.x版本集群（三）
GalenGao
10-02 2165
为了保证应用高可用性，一般我们都会搭建一个应用的集群环境，这样即使其中一个应用出现故障，集群中的其他应用仍可继续对外提供访问。本章将介绍如何安装和配置一个伪分布式集群。hadoop环境准备搭建一个简单的伪分布式Hadoop集群操作hadoop集群使用hadoop运行测试程序本文中我们使用一台机器完成了Hadoop的伪分布式集群部署，在实际的生成活动中，此种模式只能用于开发人员进行测试使用，下一章将介绍如何搭建一个Hadoop的完全分布式集群，敬请期待。
CentOS 7 + Hadoop3.0.0 搭建伪分布式集群
weixin_44767040的博客
04-11 1546
准备linux主机环境 一、安装虚拟机 下载地址：VMware workstation 14 Pro（附：许可证秘钥） 系统iso：CentOS7 Minimal 基本上就是下一步下一步这种简单的默认安装就好了。除了在安装过程中配置分区的时候可能需要手动分区，然后选择标准分区即可。 装好后，修改内存，因为不需要图形界面，所以只给个512M内存也没问题。并更改网络适配器为VMnet8（NAT）。 附上NAT方式的工作原理 （CentOS和Windows这两台机子通过虚拟网关互联，虚拟网.
Hadoop-3.3.6伪分布式集群搭建
m0_62929925的博客
09-07 971
start-all.sh或者分别启动hdfs和yarn,即：start-dfs.sh , start-yarn.sh。可以利用Xshell7和Xftp7解压jdk到/usr/local/src目录下，在Xshell7中打开Xftp7。执行命令： hdfs namenode -format，出现如图所框选的信息表明成功。执行命令 ：vim mapred-stie.xml， 添加如下代码。ls查看/usr/local/src目录下内容。ls 查看/usr/local/src。
centos7+hadoop3搭建伪分布式集群[亲测好用]
ergouy's blog
09-13 670
最近学习了hadoop3的伪分布式配置，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用 文章目录一 前置工作二 安装hadoop三 测试四 总结 一 前置工作 1、修改主机名 首先，命令行输入： hostnamectl set-hostname hadoop001 在hosts文件中修改域名映射： vi /etc/hosts 在hosts文件中添加： 内网ip hadoop001 测试是否修改成功： ping hadoop001 2、安装jdk1.8 点击下载.
"Hadoop3.0高可用分布式集群搭建详解
Hadoop3.0分布式集群搭建(HA)详细文档是一份详细描述Hadoop3.0高可用分布式集群搭建的文档。在开始搭建Hadoop分布式集群之前，需要准备好3台主机，并在每台主机上安装好Linux系统，并完成网络配置和系统配置。文档...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值