单机版hadoop安装过程

### 单机版 Hadoop 安装教程 以下是基于 CentOS 7 的单机版 Hadoop 安装指南，涵盖了环境变量设置以及核心配置文件的修改。 #### 环境准备 确保已安装 Java 开发工具包 (JDK)，并验证其版本是否满足 Hadoop 要求。可以通过以下命令检查 JDK 是否正确安装： ```bash java -version ``` 如果未安装 JDK，则需先下载并安装适合系统的 JDK 版本[^1]。 --- #### 设置环境变量 编辑 `/etc/profile` 文件，在文件末尾追加如下内容以定义 Hadoop 和相关路径： ```bash export HADOOP_HOME=/home/hadoop/hadoop-3.4.0 export HADOOP_LOG_DIR=$HADOOP_HOME/logs export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 保存后执行以下命令使更改生效： ```bash source /etc/profile ``` 此操作会加载新的环境变量到当前 shell 中[^1]。 --- #### 编辑 Hadoop 配置文件 进入 Hadoop 配置目录（通常位于 `$HADOOP_HOME/etc/hadoop/`），依次完成以下几个主要配置文件的调整。 ##### 1. `hadoop-env.sh` 打开 `hadoop-env.sh` 文件进行编辑： ```bash vi $HADOOP_HOME/etc/hadoop/hadoop-env.sh ``` 找到 `JAVA_HOME` 变量，并将其指向本地 JDK 的实际路径。例如： ```bash export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 ``` 注意：具体路径取决于操作系统中 JDK 的安装位置[^2]。 --- ##### 2. `core-site.xml` 创建或更新 `core-site.xml` 文件的内容为： ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` 此处指定默认文件系统 URI 为 `hdfs://localhost:9000`，其中端口号可以根据需求自定义[^2]。 --- ##### 3. `hdfs-site.xml` 对于单节点部署，建议将副本因子设为 1 并指明临时存储目录的位置。编辑 `hdfs-site.xml` 如下所示： ```xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/app/hadoop/tmp</value> </property> </configuration> ``` 以上配置明确了数据块复制次数及工作目录地址[^2]。 --- #### 启动服务 完成上述所有步骤之后，可以初始化 NameNode 并启动 HDFS 服务： ```bash $HADOOP_HOME/bin/hdfs namenode -format $HADOOP_HOME/sbin/start-dfs.sh ``` 通过浏览器访问 Web UI 页面确认集群状态，默认 URL 地址为 http://localhost:9870。 --- #### 测试运行 MapReduce 示例程序 为了验证安装成功与否，可尝试运行自带的例子之一——WordCount 应用程序： ```bash $hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount input output ``` 输入和输出路径应分别替换为你希望处理的数据集及其目标结果存放处。 ---