centos7 hadoop伪分布式安装与配置

好的，在CentOS 7上进行Hadoop伪分布式安装与配置是一个常见的学习步骤，以下是详细的过程： --- ### **一、准备工作** 1. 确保系统已安装JDK，并设置好环境变量`JAVA_HOME`。 - 检查命令：`java -version` 2. 下载并解压Hadoop压缩包到指定目录。例如： ```bash tar -zxvf hadoop-3.x.x.tar.gz -C /usr/local/ ln -s /usr/local/hadoop-3.x.x /usr/local/hadoop ``` 3. 配置SSH无密码登录（因为Hadoop需要通过SSH启动节点服务）。 ```bash ssh-keygen -t rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys ``` --- ### **二、修改核心配置文件** #### 1. `hdfs-site.xml` 编辑此文件以配置NameNode和DataNode存储路径等信息： ```xml <configuration> <property> <name>dfs.replication</name> <value>1</value> <!-- 副本数设为1 --> </property> <property> <name>dfs.name.dir</name> <value>/home/hadoop/data/namenode</value> <!-- NameNode元数据存放位置 --> </property> <property> <name>dfs.data.dir</name> <value>/home/hadoop/data/datanode</value> <!-- DataNode数据块存放位置 --> </property> </configuration> ``` #### 2. `core-site.xml` 配置HDFS名称空间URI及临时目录： ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> <!-- HDFS访问地址 --> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/hadoop/tmp</value> <!-- Hadoop临时目录 --> </property> </configuration> ``` #### 3. `mapred-site.xml` 启用YARN作为资源管理器，默认该文件名为`mapred-site.xml.template`，需先复制改名： ```bash cp mapred-site.xml.template mapred-site.xml ``` 然后添加内容： ```xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> <!-- 使用YARN框架 --> </property> </configuration> ``` #### 4. `yarn-site.xml` 配置ResourceManager和服务端口： ```xml <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> <!-- 启用MapReduce Shuffle功能 --> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>localhost</value> <!-- ResourceManager运行在本地主机 --> </property> </configuration> ``` --- ### **三、初始化HDFS文件系统** 执行以下命令格式化NameNode： ```bash hadoop namenode -format ``` --- ### **四、启动Hadoop集群** 依次启动HDFS和YARN服务： ```bash start-dfs.sh start-yarn.sh ``` 验证是否成功： ```bash jps # 应能看到如下进程： # Namenode, Datanode, SecondaryNamenode, NodeManager, ResourceManager ``` 访问Web界面检查状态： - HDFS WebUI: [http://localhost:9870](http://localhost:9870) - YARN WebUI: [http://localhost:8088](http://localhost:8088) --- ### **五、测试Hadoop伪分布模式** 上传文件至HDFS并运行WordCount示例程序： ```bash hadoop fs -mkdir -p /input hadoop fs -put input.txt /input hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar wordcount /input /output hadoop fs -cat /output/* ``` --- **总结**: 上述过程展示了如何在单机环境下完成Hadoop的伪分布式部署。这有助于理解其工作原理以及各个组件的功能。 ---