Hadoop大数据安装与使用-CSDN博客

Hadoop大数据基础篇

一、Hadoop特点

1. Hadoop优势：高可靠性，高扩展性，高效性(MapReduce)，高容错性

2. Hadoop的组成：

HDFS(分布式存储系统)：NameNode，Client，DataNode
MapReduce(分布式计算系统)：Input(InputFormat)，Map，Shuffle，Reduce，Output(OutputFormat)
Yarn(hadoop的资源调度系统)：ResourceManager ，NodeManager
Common(辅助工具)

二、安装JDK

1.卸载现有JDK（安装 JDK 前，一定确保提前删除了虚拟机自带的 JDK）

2.打开 XShell ，将 JDK 导入到 opt 目录下面的 software 文件夹下

3.解压JDK到/opt/module目录下

[mnlg@hadoop102 software]$ tar -zxvf opt/software/jdk-8u212-linux- x64.tar.gz -C /opt/module/
[mnlg@hadoop102 software]$ ll

4.配置环境变量

//新建 /etc/profile.d/my_env.sh文件
[mnlg@hadoop102 ~]$ sudo vim /etc/profile.d/my_env.sh
//在该文件里面增加如下配置
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212 
export PATH=$PATH:$JAVA_HOME/bin
    
//source一下profile文件，让新的环境变量PATH生效
[mnlg@hadoop102 ~]$ source /etc/profile

5.测试JDK是否安装成功

[mnlg@hadoop102 ~]$ java -version

三、安装Hadoop

1.打开 XShell，将 hadoop-3.1.3.tar.gz 导入到 opt 目录下的 software 文件夹下

2.将hadoop解压到/opt/module目录下

[mnlg@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

3.将Hadoop添加到环境变量

//打开/etc/profile.d/my_env.sh文件
[mnlg@hadoop102 ~]$ sudo vim /etc/profile.d/my_env.sh
//在末尾添加配置信息
#HADOOP_HOME 
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
    
//source一下profile文件，让新的环境变量PATH生效
[mnlg@hadoop102 ~]$ source /etc/profile

4.测试Hadoop是否安装成功

[mnlg@hadoop102 hadoop-3.1.3]$ hadoop version

四、Hadoop本地模式

1.创建文件夹、编辑文件

//在hadoop-3.1.3目录下面创建一个wcinput文件夹
[mnlg@hadoop102 hadoop-3.1.3]$ mkdir wcinput
//在wcinput文件夹下创建一个 word.txt 文件
[mnlg@hadoop102 hadoop-3.1.3]$ cd wcinput
//编辑 word.txt 文件
[mnlg@hadoop102 wcinput]$ vim word.txt
//在该文件里面增加相应的内容
hdfs
mapreduce
yarn

2.执行程序

[mnlg@hadoop102 wcinput]$ cd .. 
[mnlg@hadoop102 hadoop-3.1.3]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput

3.查看结果

//法一：
[mnlg@hadoop102 hadoop-3.1.3]$ ll
[mnlg@hadoop102 hadoop-3.1.3]$ cd wcountput/
[mnlg@hadoop102 wcoutput]$ ll
[mnlg@hadoop102 wcoutput]$ cat part-r-00000 
//法二：一步到位    
[mnlg@hadoop102 hadoop-3.1.3]$ cat wcoutput/part-r-00000

五、集群分发脚本

1.xsync 集群分发脚本：循环复制文件到所有节点的相同目录下（xsync在bin目录下）

[mnlg@hadoop102 opt]$ cd /home/mnlg 
[mnlg@hadoop102 ~]$ mkdir bin 
[mnlg@hadoop102 ~]$ cd bin
[mnlg@hadoop102 bin]$ vim xsync
//在该文件里面增加如下配置
#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
    echo ==================== $host ====================
	#3. 遍历所有目录，挨个发送
		for file in $@
        do
            #4. 判断文件是否存在
            if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)
                #6. 获取当前文件的名称
				fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
			fi
		done
done

2.提升权限

//提升权限后，xsync字母会变成绿色
[mnlg@Hadoop102 bin]$ chmod +x xsync
[mnlg@Hadoop102 bin]$ ll
[mnlg@Hadoop102 ~]$ xsync a.txt			//分发a.txt文件到其他虚拟机   

//将my_env.sh发送到全部集群机器中    
[mnlg@Hadoop102 ~]$ xsync /etc/profile.d/my_env.sh

六、Hadoop目录结构

[mnlg@hadoop102 hadoop-3.1.3]$ ll 
drwxr-xr-x. 2 atguigu atguigu 4096 9 月 22 2021 bin 
drwxr-xr-x. 3 atguigu atguigu 4096 9 月 22 2021 etc
drwxr-xr-x. 3 atguigu atguigu 4096 9 月 22 2021 lib 
drwxr-xr-x. 2 atguigu atguigu 4096 9 月 22 2021 sbin 
drwxr-xr-x. 4 atguigu atguigu 4096 9 月 22 2021 share