hadoop配置虚拟机

### 安装和配置Hadoop集群 #### 创建虚拟机并准备环境 为了在虚拟机中成功安装和配置Hadoop集群，首先要确保已经设置好合适的虚拟化平台，并创建了用于部署Hadoop节点的多个虚拟机实例。每台虚拟机应具备足够的资源分配来支持预期负载，包括但不限于CPU核心数、RAM大小以及磁盘空间等参数[^1]。 #### 配置网络连接 对于多节点组成的Hadoop集群而言，稳定可靠的内部通信至关重要。因此，在启动任何服务之前，务必确认所有参与计算的机器之间可以通过私有IP地址互相访问，并且防火墙规则允许必要的端口开放以便于数据交换和服务调用[^2]。 #### 初始化系统与用户管理 针对每一台计划加入到Hadoop集群内的主机执行如下初始化工作： - 更新现有包列表至最新版本； - 关闭SELinux安全模块以防干扰正常程序行为； - 设置静态IP地址以简化后续维护流程； - 建立专门用来运行Hadoop进程的服务账号（例如`hadoop`），并通过SSH密钥认证机制实现免密码登录其他成员服务器的功能。 ```bash sudo adduser hadoop su - hadoop ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys chmod 0600 ~/.ssh/authorized_keys ``` #### 下载并解压Hadoop发行版 前往官方网站获取适用于目标系统的二进制文件压缩包，将其放置于事先规划好的目录位置之后再利用命令行工具完成解压缩过程。这里假设下载路径为`~/software/hadoop-x.y.z.tar.gz`而最终存放点则是`/usr/local/hadoop`: ```bash tar zxvf ~/software/hadoop-x.y.z.tar.gz -C /usr/local/ ln -s /usr/local/hadoop-x.y.z /usr/local/hadoop export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin source ~/.bashrc ``` #### 修改配置文件适应本地环境 进入刚刚建立起来的软链接指向的实际路径下面编辑几个重要的XML文档，使得整个框架可以根据实际情况调整性能表现及特性启用情况。主要涉及以下几个方面： - `core-site.xml`: 设定NameNode所在的位置以及其他全局属性； - `hdfs-site.xml`: 描述DataNodes的行为模式还有冗余级别等内容； - `yarn-site.xml`: 控制ResourceManager及其辅助组件的具体运作细节； - `mapred-site.xml`: 明确MapReduce作业提交接口形式，默认情况下可能需要手动复制模板副本进行修改。 ```xml <!-- core-site.xml --> <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://namenode-host:9000</value> </property> </configuration> <!-- hdfs-site.xml --> <configuration> <property> <name>dfs.replication</name> <value>3</value> </property> </configuration> <!-- yarn-site.xml --> <configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>resourcemanager-host</value> </property> </configuration> <!-- mapred-site.xml --> <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> ``` #### 启动各个守护进程验证集群状态 当上述准备工作全部完成后就可以尝试依次开启构成分布式存储层(HDFS) 和 计算调度器(YARN) 的各项后台线程啦！记得按照官方指南给出的标准顺序来进行操作哦～另外别忘了定期查看日志记录排查潜在错误信息呢！ ```bash # Start NameNode and DataNodes sbin/start-dfs.sh # Verify that the nodes have started by visiting http://localhost:50070 in your web browser. # Start ResourceManager and NodeManagers sbin/start-yarn.sh # Check YARN status via http://localhost:8088. ```