【Hadoop安装】

原创已于 2023-05-17 21:15:39 修改 · 277 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #大数据 #hdfs

于 2023-05-03 21:39:43 首次发布

本文详细介绍了在Ubuntu系统上安装Hadoop的步骤，包括创建用户、安装依赖（如Java、SSH）、配置环境变量、下载并解压Hadoop、修改配置文件（core-site.xml和hdfs-site.xml）、启动Hadoop服务以及执行WordCount示例。在安装过程中强调了设置JAVA_HOME、Namenode和Datanode的配置以及安全密钥的生成。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hadoop安装

步骤：
1、创建用户

sudo useradd -m hadoop -s /bin/bash    #创建hadoop用户
sudo passwd hadoop            #修改密码7410852963        
sudo adduser hadoop sudo    #增加管理员权限

在这里插入图片描述

2、注销当前用户并使用hadoop用户登陆

su - hadoop

在这里插入图片描述

3、更新资源库

sudo apt-get update

4、安装vim

sudo apt-get install vim

5、安装ssh
sudo apt-get install openssh-server

cd ~ 
mkdir .ssh
cd ~/.ssh/
ssh-keygen -t rsa 
#前面按三个回车
#结束后输入下方命令
cat id_rsa.pub>>authorized_keys

6、安装Java环境

sudo apt-get install openjdk-8-jre openjdk-8-jdk

vim ~/.bashrc  #设置JAVA_HOME

7、在文件第一行添加

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"
export JAVA_LIBRARY_PATH=/usr/local/hadoop/lib/native

8、使变量生效

source ~/.bashrc

9、安装hadoop 2

cd /usr/local
sudo wget https://mirrors.cnnic.cn/apache/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz

sudo tar -zxvf ./hadoop-2.10.1.tar.gz     
sudo mv ./hadoop-2.10.1/ ./hadoop                              
sudo chown -R hadoop ./hadoop

10、修改配置文件
打开并修改core-site.xml文件

vim /usr/local/hadoop/etc/hadoop/core-site.xml

#修改部分
<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

打开并修改vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml

vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

11、启动

cd /usr/local/hadoop                                              
bin/hdfs namenode -format   # cd bin && ./hdfs namenode -format
sbin/start-dfs.sh     #cd sbin && ./start-dfs.sh

12、查看是否正确

jps

13、WORDCOUNT实例：

 bin/hdfs dfs -mkdir -p /user/hadoop
 bin/hdfs dfs -mkdir input
 bin/hdfs dfs -put etc/hadoop/*.xml input

在这里插入图片描述

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.1.jar wordcount input output

在这里插入图片描述

bin/hdfs dfs -cat output/*

在这里插入图片描述
实例解释
1.通过bin/hdfs dfs -ls /查看根文件下的内容

2.通过bin/hdfs dfs -mkdir /文件夹名，向该目录下创建文件夹

3.通过bin/hdfs dfs -put /本地文件名 /目标文件夹/，向该目标文件夹中添加本地路径的文件

4.通过bin/hadoop jar XXX.jar wordcount /统计数据的指定的文件/ /输出结果的目标文件/，使用wordcout统计指定文件夹中的内容并输出到目标文件夹中

5.通过bin/hdfs dfs -cat /输出的目标文件/* 的方式查看最后统计的结果

在这里插入图片描述

备注vim编译
在刚进入Vim时，便进入了普通模式，在普通模式中可以按i（插入）或者a（附加）进入插入模式，在普通模式中按:进入命令行模式；在命令行模式中和插入模式中按ESC返回到普通模式。

insert 插入模式
esc 普通模式
:wq 保存退出
:wq! 强制保存退出，当文件的所有者或 root 用户，对文件没有写权限的时候，强制写入数据使用