linux 安装 hadoop安装教程

最新推荐文章于 2025-06-04 01:13:02 发布

让风停一会.

最新推荐文章于 2025-06-04 01:13:02 发布

阅读量534

点赞数 1

CC 4.0 BY-SA版权

文章标签： hadoop

本文链接：https://blog.csdn.net/SaKurt/article/details/107261256

本文详细介绍了在Linux系统中安装Hadoop的全过程，包括创建数据存储目录、上传及解压Hadoop压缩包、配置环境变量、编辑相关配置文件（如core-site.xml, hdfs-site.xml等）、设置主机间SSH免登陆、执行格式化和启动服务等关键步骤，最后通过Web UI检查HDFS和YARN集群状态。" 110729363,7329632,深度解析：神经网络的传播机制,"['机器学习', '神经网络', '算法', '深度学习', '数学基础']

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

linux 安装

在opt下创建文件夹hadoopdata用于存放hadoop的一些元数据
上传hadoop压缩包到opt下，解压
在这里插入图片描述
进入以下路径，做一些配置修改 ./hadoop-2.7.2/etc/hadoop/

编辑hadoop-env.sh 配置自己jdk路径

编辑core-site.xml ，配置ip，端口，读取文件缓冲大小

<!--配置HDFS文件系统的命名空间-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://jh01:9000</value>
</property>
<!--HDFS读取文件的缓冲大小-->
<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>

在这里插入图片描述
编辑hdfs-site.xml，配置副本数等。看图

<!--配置hdfs文件系统的副本数-->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<!--指定hdfs文件系统的元数据存放目录-->
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///opt/hadoopdata/dfs/name</valu