Hadoop平台搭建与配置指南

### Hadoop安装与配置详解 #### 一、概述 Hadoop是一个开源软件框架，用于分布式存储和处理大数据集。它能够高效地处理PB级别的数据，适用于海量数据的存储和计算场景。本文将详细介绍如何在多台虚拟机上安装和配置Hadoop集群。 #### 二、环境准备 本示例中使用了三台虚拟机作为Hadoop集群的基础环境，它们的IP地址和角色分配如下： - **Master节点**：192.168.1.80 - **Slave1节点**：192.168.1.81 - **Slave2节点**：192.168.1.82 此外，假设JDK已预先安装完成。接下来将按照步骤逐步介绍如何在这些虚拟机上搭建Hadoop集群。 #### 三、Hadoop安装步骤 1. **拷贝Hadoop安装包** 将`hadoop-2.9.1.tar.gz`拷贝到每台虚拟机的`/usr/local`目录下，并解压后重命名文件夹为`hadoop`。 ```bash # 在每台虚拟机上执行 cp hadoop-2.9.1.tar.gz /usr/local/ tar -zxvf hadoop-2.9.1.tar.gz mv hadoop-2.9.1 hadoop ``` 2. **配置环境变量** 在`/etc/profile`文件中添加Hadoop的环境变量，以便系统可以识别Hadoop的安装位置。 ```bash # 在每台虚拟机上编辑/etc/profile vi /etc/profile ``` 添加以下内容： ```bash HADOOP_HOME=/usr/local/hadoop PATH=$HADOOP_HOME/bin:$PATH export PATH ``` 执行命令使配置立即生效： ```bash source /etc/profile ``` 3. **配置hosts文件** 编辑`/etc/hosts`文件，确保每台虚拟机都正确解析其他机器的主机名。 ```bash # 在每台虚拟机上编辑/etc/hosts vi /etc/hosts ``` 内容如下： ```bash 192.168.1.80 master 192.168.1.81 slave1 192.168.1.82 slave2 127.0.0.1 localhost ``` 4. **配置JDK** 在`/usr/local/hadoop/etc/hadoop/hadoop-env.sh`文件中指定JDK的位置。 ```bash # 在每台虚拟机上编辑/usr/local/hadoop/etc/hadoop/hadoop-env.sh vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh ``` 修改内容如下： ```bash export JAVA_HOME=/usr/local/java/jdk1.8.0_172 export HADOOP_HOME=/usr/local/hadoop ``` 5. **配置Hadoop核心属性** 编辑`/usr/local/hadoop/etc/hadoop/core-site.xml`文件，设置Hadoop的核心属性。 ```xml <configuration> <property> <name>hadoop.tmp.dir</name> <value>/data/hadoop/tmp</value> <description>A base for other temporary directories.</description> </property> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> </configuration> ``` 6. **配置HDFS属性** 在`/usr/local/hadoop/etc/hadoop/hdfs-site.xml`文件中设置HDFS的相关配置。 ```xml <configuration> <property> <name>dfs.replication</name> <value>3</value> </property> <property> <name>dfs.name.dir</name> <value>/data/hadoop/name</value> </property> <property> <name>dfs.data.dir</name> <value>/data/hadoop/data,/data/hadoop/data01,/data/hadoop/data02</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> <property> <name>dfs.support.append</name> <value>true</value> </property> </configuration> ``` 7. **配置MapReduce属性** 在`/usr/local/hadoop/etc/hadoop/mapred-site.xml`文件中设置MapReduce的配置。 ```xml <configuration> <property> <name>mapreduce.jobtracker.address</name> <value>master:9001</value> </property> </configuration> ``` 8. **更新masters和slaves文件** 在master节点上编辑`/usr/local/hadoop/etc/hadoop/slaves`文件，列出所有slave节点的主机名。 ```bash # 在master节点上编辑/etc/hadoop/slaves vi /usr/local/hadoop/etc/hadoop/slaves ``` 内容如下： ```bash slave1 slave2 ``` 9. **SSH免密码登录** 为了方便集群内的通信，需要在master节点上生成SSH密钥对，并将其分发到slave节点上。 ```bash # 在master节点上生成密钥 ssh-keygen -t rsa # 分发密钥到slave节点 ssh-copy-id slave1 ssh-copy-id slave2 ``` 10. **格式化NameNode** 在master节点上格式化HDFS的NameNode。 ```bash # 在master节点上执行 hadoop namenode -format ``` 11. **启动Hadoop服务** 检查各个节点上的进程状态。 ```bash # 在每台虚拟机上执行 jps ``` 12. **访问管理界面** 通过Web浏览器访问Hadoop集群的状态页面，通常可以通过以下URL访问： ``` http://master:50070 ``` #### 四、总结 通过以上步骤，我们成功地在一个由三台虚拟机构成的环境中安装并配置了一个基本的Hadoop集群。这不仅包括了Hadoop的安装、环境变量的配置、网络配置，还涉及到了Hadoop的核心配置文件的详细设置，如`core-site.xml`、`hdfs-site.xml`、`mapred-site.xml`等。此外，通过SSH免密码登录和格式化NameNode的操作确保了集群的稳定运行。通过Web界面的监控可以实时了解集群的工作状态，这对于运维人员来说是非常重要的。 通过这样的配置过程，我们可以更好地理解Hadoop集群的基本组成和工作原理，为进一步进行大数据处理和分析打下坚实的基础。