ubuntu20.04 hadoop安装教程
时间: 2025-06-03 10:46:53 浏览: 18
### Ubuntu 20.04 Hadoop 安装指南
#### 准备工作
为了确保顺利安装,在开始之前需确认已准备好以下事项:
- 已经成功安装并配置好Ubuntu 20.04操作系统。
- Java环境已经正确设置,建议版本为Java 8或以上。
#### 更新系统包管理器索引文件
保持系统的最新状态非常重要。可以通过运行下面命令更新本地APT缓存:
```bash
sudo apt update && sudo apt upgrade -y
```
#### 安装Java开发工具包(JDK)
如果尚未安装JDK,则可以执行下列指令完成安装:
```bash
sudo apt install openjdk-11-jdk -y
```
验证安装是否成功的命令是`java -version`[^1]。
#### 下载Hadoop压缩包
前往Apache官方网站下载页面获取最新的稳定版二进制分发文件。推荐采用wget或者curl这样的命令行工具来进行下载操作:
```bash
cd ~
wget https://downloads.apache.org/hadoop/common/stable/hadoop-x.x.x.tar.gz
tar zxvf hadoop-x.x.x.tar.gz
mv hadoop-x.x.x ~/hadoop
echo 'export JAVA_HOME=/usr/lib/jvm/java-11-openjdk-amd64' >> ~/.bashrc
echo 'export HADOOP_INSTALL=~/hadoop' >> ~/.bashrc
echo 'export PATH=$PATH:$HADOOP_INSTALL/bin' >> ~/.bashrc
source ~/.bashrc
```
#### 配置SSH无密码登录
为了让NameNode和DataNodes之间能够无障碍通信,需要实现免密钥认证功能。这一步骤对于单节点集群同样适用:
```bash
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 0600 ~/.ssh/authorized_keys
```
测试通过尝试连接localhost来检验上述配置的效果:`ssh localhost`。
#### 修改核心配置文件
编辑`$HADOOP_INSTALL/etc/hadoop/core-site.xml`添加如下内容以便指定临时目录位置以及默认FS URI:
```xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
```
接着调整`$HADOOP_INSTALL/etc/hadoop/hdfs-site.xml`中的参数以适应当前硬件条件:
```xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
```
最后不要忘记初始化namenode存储空间结构:`hdfs namenode -format`。
#### 启动服务
一切准备就绪之后就可以启动相关进程了。进入`sbin`目录下分别调用start-dfs.sh脚本开启DFS守护线程;如果是多机部署模式还需额外激活YARN ResourceManager/Yarn NodeManager组件:
```bash
cd $HADOOP_INSTALL/sbin/
./start-dfs.sh
# For YARN, also run this command after starting DFS.
# ./start-yarn.sh
```
此时应该可以在浏览器里访问http://your-ip-address:50070查看Web UI界面了解集群健康状况和其他有用信息。
阅读全文
相关推荐

















