centos7安装hadoop3.4.0伪分布模式安装详细步骤

<think>好的，用户想要在CentOS 7上安装Hadoop 3.4.0的伪分布式模式。我需要先回顾一下安装Hadoop的基本步骤，确保所有依赖项和环境都正确配置。首先，系统需要Java，因为Hadoop是基于Java开发的。用户可能已经安装了Java，但需要确认版本是否兼容Hadoop 3.4.0。Hadoop 3.x通常需要Java 8或更高版本，所以需要检查Java版本，如果没安装的话，需要指导安装。 接下来，用户需要配置SSH免密登录，因为Hadoop在伪分布式模式下使用SSH进行节点间的通信，即使是在同一台机器上。这一步可能容易出错，尤其是权限问题，所以需要详细说明如何生成密钥对并添加到authorized_keys。 然后是下载和解压Hadoop的步骤。Hadoop官网可能有不同的下载镜像，需要确认正确的下载链接。解压后，配置环境变量是必要的，这样用户可以直接在终端运行Hadoop命令。需要编辑.bashrc或者.bash_profile文件，添加Hadoop的路径。 配置文件的修改是关键部分，伪分布式模式需要修改几个核心配置文件：core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml。每个文件中的配置项需要准确无误，比如指定HDFS的地址、副本数（伪分布式通常设为1）、资源管理器的地址等。这些配置项的属性和值需要正确对应，否则Hadoop可能无法启动。 格式化HDFS的namenode是初始化存储的重要步骤，但要注意如果之前已经格式化过，可能需要先删除旧的data目录，否则可能会有冲突。格式化命令执行后需要确认没有错误信息。 启动Hadoop集群涉及到启动HDFS和YARN。用户需要运行start-dfs.sh和start-yarn.sh脚本，然后通过jps命令检查各个守护进程是否正常启动，如NameNode、DataNode、ResourceManager等。如果某个进程没有启动，可能需要查看日志文件排查问题。 最后，验证安装是否成功可以通过运行一个示例任务，比如wordcount，这需要用户准备好输入文件并提交作业。成功运行后，输出目录应该包含结果文件，这能确认Hadoop的安装和配置都是正确的。 在思考过程中，还要考虑用户可能遇到的问题，比如端口被占用、权限不足、配置文件中的路径错误等。需要提醒用户检查防火墙设置，确保相关端口开放，如HDFS的9000端口和YARN的8088端口。此外，环境变量配置后需要source文件使其生效，避免用户忘记导致命令找不到的问题。 另外，用户提供的引用中有提到TEZ_CONF_DIR和HADOOP_CLASSPATH的设置，这可能与Hadoop的类路径配置有关，但在伪分布式安装的基本步骤中可能不需要这些设置，除非用户需要集成Tez。所以需要确认用户是否需要额外的配置，但根据问题描述，用户主要关注Hadoop的安装步骤，可能暂时不需要涉及Tez的部分，因此可以忽略引用中的Tez相关配置，除非用户有特别需求。 最后，生成的相关问题需要围绕安装过程中可能遇到的常见问题，比如环境变量配置、SSH免密登录失败、进程无法启动等，帮助用户进一步排查问题。</think>### CentOS 7下Hadoop 3.4.0伪分布式模式安装步骤 #### 一、前置条件 1. **系统准备** - CentOS 7系统（建议最小化安装） - 网络连接正常 - 使用`sudo`权限的非root用户操作 2. **安装依赖** ```bash sudo yum install -y ssh pdsh rsync openssh-clients ``` 3. **配置Java环境** Hadoop 3.4.0需要JDK 8或更高版本： ```bash sudo yum install -y java-11-openjdk-devel echo 'export JAVA_HOME=/usr/lib/jvm/java-11-openjdk' >> ~/.bashrc source ~/.bashrc ``` --- #### 二、Hadoop安装与配置 1. **下载并解压Hadoop** ```bash wget https://archive.apache.org/dist/hadoop/common/hadoop-3.4.0/hadoop-3.4.0.tar.gz tar -xzvf hadoop-3.4.0.tar.gz -C /opt/apps/ sudo chown -R $(whoami):$(whoami) /opt/apps/hadoop-3.4.0 ``` 2. **配置环境变量** 编辑`~/.bashrc`文件，添加以下内容： ```bash export HADOOP_HOME=/opt/apps/hadoop-3.4.0 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME ``` 执行 `source ~/.bashrc` 3. **配置SSH免密登录** ```bash ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 600 ~/.ssh/authorized_keys ssh localhost # 验证免密登录 ``` --- #### 三、修改Hadoop配置文件 1. **`etc/hadoop/core-site.xml`** ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/opt/apps/hadoop-3.4.0/tmp</value> </property> </configuration> ``` 2. **`etc/hadoop/hdfs-site.xml`** ```xml <configuration> <property> <name>dfs.replication</name> <value>1</value> <!-- 伪分布式设为1 --> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:///opt/apps/hadoop-3.4.0/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:///opt/apps/hadoop-3.4.0/datanode</value> </property> </configuration> ``` 3. **`etc/hadoop/mapred-site.xml`** ```xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> ``` 4. **`etc/hadoop/yarn-site.xml`** ```xml <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.env-whitelist</name> <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME</value> </property> </configuration> ``` --- #### 四、初始化与启动 1. **格式化HDFS** ```bash hdfs namenode -format ``` 2. **启动HDFS和YARN** ```bash start-dfs.sh start-yarn.sh ``` 3. **验证进程状态** ```bash jps # 应包含NameNode, DataNode, ResourceManager, NodeManager ``` 4. **访问Web UI** - HDFS: `http://<服务器IP>:9870` - YARN: `http://<服务器IP>:8088` --- #### 五、验证WordCount示例 1. **创建输入文件** ```bash hdfs dfs -mkdir -p /user/$USER/input hdfs dfs -put $HADOOP_HOME/etc/hadoop/*.xml /user/$USER/input ``` 2. **运行MapReduce作业** ```bash hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.4.0.jar wordcount /user/$USER/input /user/$USER/output ``` 3. **查看结果** ```bash hdfs dfs -cat /user/$USER/output/* ``` ---