hadoop创建虚拟机截图

### 安装和配置Hadoop集群 #### 创建虚拟机并准备环境 为了在虚拟机中成功安装和配置Hadoop集群，首先要确保已经设置好合适的虚拟化平台，并创建了用于部署Hadoop节点的多个虚拟机实例。每台虚拟机应具备足够的资源分配来支持预期负载，包括但不限于CPU核心数、RAM大小以及磁盘空间等参数[^1]。 #### 配置网络连接 对于多节点组成的Hadoop集群而言，稳定可靠的内部通信至关重要。因此，在启动任何服务之前，务必确认所有参与计算的机器之间可以通过私有IP地址互相访问，并且防火墙规则允许必要的端口开放以便于数据交换和服务调用[^2]。 #### 初始化系统与用户管理 针对每一台计划加入到Hadoop集群内的主机执行如下初始化工作： - 更新现有包列表至最新版本； - 关闭SELinux安全模块以防干扰正常程序行为； - 设置静态IP地址以简化后续维护流程； - 建立专门用来运行Hadoop进程的服务账号（例如`hadoop`），并通过SSH密钥认证机制实现免密码登录其他成员服务器的功能。 ```bash sudo adduser hadoop su - hadoop ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys ``` #### 下载并解压Hadoop发行版 前往官方网站获取适用于目标系统的二进制文件压缩包，将其放置于事先规划好的目录位置之后再利用命令行工具完成解压缩过程。这里假设下载路径为`~/software/hadoop-x.y.z.tar.gz`而最终存放点则是`/usr/local/hadoop`: ```bash tar zxvf ~/software/hadoop-x.y.z.tar.gz -C /usr/local/ ln -s /usr/local/hadoop-x.y.z /usr/local/hadoop export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin source ~/.bashrc ``` #### 修改配置文件适应本地环境 进入刚刚建立起来的软链接指向的实际路径下面编辑几个重要的XML文档，使得整个框架可以根据实际情况调整性能表现及特性启用情况。主要涉及以下几个方面： - `core-site.xml`: 设定NameNode所在的位置以及其他全局属性； - `hdfs-site.xml`: 描述DataNodes的行为模式还有冗余级别等内容； - `yarn-site.xml`: 控制ResourceManager及其辅助组件的具体运作细节； - `mapred-site.xml`: 明确MapReduce作业提交接口形式，默认情况下可能需要手动复制模板副本进行修改。 ```xml <!-- core-site.xml --> <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://namenode-host:9000</value> </property> </configuration> <!-- hdfs-site.xml --> <configuration> <property> <name>dfs.replication</name> <value>3</value> </property> </configuration> <!-- yarn-site.xml --> <configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>resourcemanager-host</value> </property> </configuration> <!-- mapred-site.xml --> <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> ``` #### 启动各个守护进程验证集群状态 当上述准备工作全部完成后就可以尝试依次开启构成分布式存储层(HDFS) 和 计算调度器(YARN) 的各项后台线程啦！记得按照官方指南给出的标准顺序来进行操作哦～另外别忘了定期查看日志记录排查潜在错误信息呢！ ```bash # Start NameNode and DataNodes sbin/start-dfs.sh # Verify that the nodes have started by visiting http://localhost:50070 in your web browser. # Start ResourceManager and NodeManagers sbin/start-yarn.sh # Check YARN status via http://localhost:8088. ```

### 三台虚拟机上搭建和配置 Hadoop 集群 #### 虚拟机创建与网络设置 为了构建 Hadoop 集群，首先需要准备三台虚拟机。下载所需的操作系统镜像源并完成虚拟机的初始化工作[^1]。随后，在每台虚拟机中分配独立的静态 IP 地址以便于稳定通信。通过编辑 `/etc/sysconfig/network-scripts/ifcfg-ens33` 文件来设定静态 IP 设置[^2]。 #### SSH 免密登录配置 为了让节点间能够高效协作，需在各虚拟机之间建立无密码认证机制。具体操作如下： 1. 在主节点（NameNode）生成公钥私钥对： ```bash ssh-keygen -t rsa ``` 2. 将生成的公钥分发至其他两台从节点（DataNodes），以及本机回环地址： ```bash ssh-copy-id user@slave1_ip ssh-copy-id user@slave2_ip ``` #### Java 环境变量配置 Hadoop 运行依赖 JDK 支持，因此必须先确认所有机器均已安装适当版本的 Java 并正确设置了 `JAVA_HOME` 变量。可以通过修改 `$HADOOP_HOME/etc/hadoop/hadoop-env.sh` 文件中的路径指向实际安装位置[^3]： ```bash export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 ``` #### 修改核心配置文件 进入 Hadoop 的配置目录后调整以下几个主要参数文件的内容以适应多节点部署需求: 1. **core-site.xml**: 定义默认存储位置及临时数据存放点。 ```xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://namenode_host:9000</value> </property> </configuration> ``` 2. **hdfs-site.xml**: 设定副本数量以及其他磁盘管理选项。 ```xml <configuration> <property> <name>dfs.replication</name> <value>2</value> </property> </configuration> ``` 3. **mapred-site.xml**: 明确 MapReduce 框架使用的资源调度器类型。 ```xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> ``` 4. **yarn-site.xml**: YARN 相关服务端口定义及其他高级特性启用开关。 ```xml <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> ``` 最后一步是在 slaves 列表里填入 DataNode 主机名或者 IP 地址列表，保存退出即可。 #### 启动集群验证状态 当上述准备工作完成后就可以依次启动各个组件的服务进程了。通常情况下按照以下顺序执行命令脚本来激活整个分布式计算框架: ```bash start-dfs.sh && start-yarn.sh jps # 查看当前 JVM 上运行的所有 java process 来判断是否成功开启 NameNode, SecondaryNameNode 和 NodeManager. ``` 如果一切正常，则可以尝试提交测试作业到这个新建好的伪分布模式下的 mini-cluster 中去检验其功能表现如何。 ---