在阿里云 Ubuntu 24.04 上部署 RabbitMQ：一篇实战指南

### 如何在 Ubuntu 24.04 上部署 Hadoop #### 准备工作 确保系统已经更新到最新状态并安装必要的工具包。 ```bash sudo apt update && sudo apt upgrade -y ``` #### 下载与解压 Hadoop 前往 Apache Hadoop 的官方网站下载适合的版本，这里假设已下载完成并将压缩包放置于 `/opt` 文件夹下： ```bash tar -xzvf hadoop-x.x.x.tar.gz -C /opt/ cd /opt/ ln -s hadoop-x.x.x/ hadoop export HADOOP_HOME=/opt/hadoop ``` 设置环境变量，在 `~/.bashrc` 或者 `/etc/profile.d/hadoop.sh` 中加入如下内容以便全局生效: ```bash export HADOOP_HOME=/opt/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin source ~/.bashrc # 如果修改的是此文件，则需重新加载配置使更改立即生效 ``` #### 配置 Java 环境 确认Java已经被正确安装并且可以被Hadoop识别。通常情况下，默认OpenJDK即可满足需求；如果需要指定其他版本，请调整 `$JAVA_HOME` 变量指向相应位置。 ```bash sudo apt install default-jdk -y echo "export JAVA_HOME=$(readlink -f /usr/bin/java | sed "s:bin/java::")" >> $HOME/.bashrc source ~/.bashrc ``` #### 修改 Hadoop 主要配置文件 编辑位于 `${HADOOP_HOME}/etc/hadoop/core-site.xml`, 添加如下属性来定义namenode地址以及临时目录路径： ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/app/hadoop/tmp</value> </property> </configuration> ``` 对于分布式模式下的集群节点管理，还需要编辑`${HADOOP_HOME}/etc/hadoop/yarn-site.xml` 和 `${HADOOP_HOME}/etc/hadoop/mapred-site.xml` 来启用YARN框架支持MapReduce作业调度功能。 #### 设置集群成员列表 为了构建多机组成的伪分布或完全分布式的Hadoop集群，应当向 `${HADOOP_HOME}/etc/hadoop/workers` 和 `${HADOOP_HOME}/etc/hadoop/slaves` 文件中追加参与计算的工作节点名称，例如： ubuntu1 ubuntu2 ubuntu3 这一步骤有助于后续通过命令行启动整个集群服务时自动连接各个子节点[^1]。 #### 初始化 NameNode 并格式化存储空间 首次运行前必须先初始化NameNode元数据仓库： ```bash hdfs namenode -format ``` #### 启动 Hadoop 集群 利用提供的脚本一次性开启所有相关进程： ```bash start-dfs.sh # 启动DFS（Distributed File System） start-yarn.sh # 启动资源管理和任务调度组件 mr-jobhistory-daemon.sh start historyserver # 开启历史记录服务器用于追踪已完成的任务信息 ``` 此时可以通过浏览器访问 http://master-node-ip:8088 查看 YARN Web UI 页面监控集群健康状况和正在执行中的应用程序详情。