Windows11系统下安装Hadoop3.4.0

不爱说话的分院帽

于 2025-06-25 14:42:33 发布

阅读量375

点赞数 7

CC 4.0 BY-SA版权

文章标签： hadoop 大数据分布式

本文链接：https://blog.csdn.net/brycle/article/details/148898214

准备安装包

1、安装JDK8 或者JDK11，点击链接进行下载：Java Downloads | Oracle

2、下载Hadoop 3.4.0 版本安装包：Hadoop

3、下载【winutils.exe、hadoop.dll】这两个文件：https://github.com/cdarlint/winutils/tree/master

安装

1、首先安装JDK8 或者JDK11(推荐)

2、把下载好的Hadoop3.4.0压缩包解压到D盘，然后配置环境变量，新增HADOOP_HOME变量，然后把HADOOP_HOME加入到path中

3、在安装的hadoop文件夹中的bin 文件夹添加 winutils.exe 和hadoop.dll 文件

修改Hadoop配置

进到目录：\hadoop-3.4.0\etc\hadoop

修改：hadoop-env.cmd

注意：JDK如果默认安装在 C:\Program Files下面需要按照下面设置

set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_351

PS：PROGRA~1是 Program Files 文件夹的dos文件名模式下的缩写。

修改：core-sit.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

修改：hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///D:/hadoop_data/hdfs/namenode</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///D:/hadoop_data/hdfs/datanode</value>
  </property>
</configuration>

修改：mapred-site.xml

<configuration>   
  <property>       
    <name>mapreduce.framework.name</name>       
    <value>yarn</value>   
  </property>
</configuration>

修改：yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>