ubuntu单机模式配置hadoop
时间: 2025-03-06 10:51:30 浏览: 41
### 配置Hadoop在Ubuntu单机模式下的教程
#### 安装所需软件包
为了安装必要的软件包,在终端执行命令来更新本地的APT仓库并安装所需的工具。这包括`ssh`和`rsync`,它们对于分布式文件系统的操作至关重要[^1]。
```bash
sudo apt-get update
sudo apt-get install ssh rsync
```
#### 下载与解压Hadoop
前往官方Apache Hadoop发布页面下载最新稳定版本[Hadoop Releases](http://hadoop.apache.org/releases.html),之后将其解压缩到期望的位置[^2]:
```bash
wget http://apache.mirrors.pair.com/hadoop/common/stable/hadoop-3.3.4.tar.gz
tar -xzvf hadoop-3.3.4.tar.gz
mv hadoop-3.3.4 /usr/local/
```
#### 设置环境变量
编辑用户的shell配置文件(如`.bashrc`),添加如下行以设置`JAVA_HOME`以及将Hadoop二进制目录加入PATH中:
```bash
export JAVA_HOME=/path/to/java
export PATH=$PATH:/usr/local/hadoop/bin
source ~/.bashrc
```
#### 修改`hadoop-env.sh`
按照指引修改位于`${HADOOP_HOME}/etc/hadoop/`路径下的`hadoop-env.sh`文件,确保其中定义了正确的Java路径:
```bash
export JAVA_HOME=$(readlink -f /usr/bin/javac | sed "s:/bin/javac::")
```
#### 测试安装
完成上述步骤后,可以通过运行简单的MapReduce程序验证是否成功设置了单节点集群。进入Hadoop示例jar所在位置,并尝试启动wordcount例子测试数据处理能力[^3]:
```bash
cd /usr/local/hadoop
hdfs dfs -mkdir /input
echo "Test data" > input.txt
hdfs dfs -put input.txt /input
yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount /input /output
cat output/*
```
通过以上步骤可以实现在Ubuntu上配置Hadoop单机模式的目的。需要注意的是,这里假设已经正确安装了JDK并且能够正常访问互联网获取资源;如果遇到任何依赖关系问题,则可能还需要额外解决这些前置条件[^4]。
阅读全文
相关推荐


















