Hadoop完全分布式的安装,也就是集群部署。在这种模式下,Hadoop是运行在多个主机/节点上的。一般来说,集群部署至少需要三台主机。
第一,需要复制虚拟机,分成三台主机,将主机名分成一个主机和两个副机。HDFS每个节点都很重要,特别是DataNode;yarn的节点就比较简单的配置文件即可。步骤如下:
修改master、slave1、slave2ip
因为master、slave1、slave2这三台虚拟机是从原有的虚拟机拷贝过来的,所以所有东西都是一样的,包括环境变量、已安装的程序(jdk、redis、hadoop、hbase等)、ip、主机名。
而不同的主机,ip肯定不能一样,所以要修改这三台虚拟机的ip和主机名。下面以修改master的ip和主机名为例进行讲解,slave1、slave2修改过程一样,请自行修改。
第二,需要查看主机是否连接外网。master、slave1、slave2三个主机的/etc/hosts新增的映射记录一样。下图是master的/etc/hosts文件的内容: