乌班图hadoop完全分布式搭建
时间: 2025-04-30 13:42:42 浏览: 25
### Hadoop 完全分布式安装配置教程
#### 配置环境变量
在 Ubuntu 上搭建 Hadoop 的完全分布式模式,首先需要设置 `hadoop-env.sh` 文件中的 Java 环境变量。通过编辑 `$HADOOP_HOME/etc/hadoop/hadoop-env.sh` 文件,将其中的 `$JAVA_HOME` 和 `$HADOOP_HOME` 替换为具体的路径[^1]。
#### 进入 Hadoop 配置目录
为了完成进一步的配置工作,需先进入 Hadoop 的配置文件所在目录。假设 Hadoop 被安装到 `/usr/local/hadoop-2.10.1` 下,则可以通过以下命令切换至该目录:
```bash
cd /usr/local/hadoop-2.10.1/etc/hadoop
```
此操作可以确保后续修改的是正确的配置文件[^2]。
#### 修改核心配置文件
以下是几个重要的配置文件及其作用:
##### core-site.xml
用于定义 HDFS 中 NameNode 的地址以及默认的文件系统类型。通常如下所示:
```xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://namenode_host:9000</value>
</property>
</configuration>
```
##### hdfs-site.xml
指定数据块副本数量以及其他存储参数:
```xml
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>
```
##### mapred-site.xml
MapReduce 框架的核心配置文件之一,指明 JobTracker 或 ResourceManager 所使用的框架名称:
```xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
```
##### yarn-site.xml
YARN 架构下资源管理器的相关设定:
```xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
```
以上四个 XML 文件共同构成了 Hadoop 分布式集群的基础配置体系。
#### 启动服务并验证
完成上述所有配置之后,依次启动 HDFS 和 YARN 服务即可实现整个系统的正常运行状态测试。具体命令如下:
```bash
start-dfs.sh
start-yarn.sh
```
阅读全文
相关推荐


















