Hadoop|Hadoop的伪分布式部署

一：Hadoop文件下载

1.下载hadoop文件，本次的安装版本是：hadoop-2.6.5版本

下载可访问镜像网站进行下载：http://archive.apache.org/dist/hadoop/core/hadoop-
2.4.1/

下载命令：wget http://archive.apache.org/dist/hadoop/core/hadoop-
2.4.1/

2.将下载好的文件解压到安装目录中（这里解压到：/usr/local）

tar -zxvf hadoop-2.6.5.tar.gz /usr/local

3.此时local目录下会解压出一个"hadoop 2.6.5",然后改名为"hadoop"

mv hadoop-2.6.5 hadoop

修改后的文件名hadoop:

二：Hadoop安装步骤

1.设置环境变量

vim ~/.bash_profile

解释：HADOOP_HOME为hadoop的文件路径

生效环境变量：source ~/.bash_profile

2.进入到etc/hadoop配置文件夹

cd /usr/local/hadoop/etc/hadoop

需要配置红框圈出来的配置文件

3.vim hadoop-env.sh

解释：JAVA_HOME查看命令（echo $JAVA_HOME）

4.vim hdfs-site.xml

<configuration>

<!--配置HDFS的副本，冗余度-->
<property>
 <name>dfs.replication</name>
 <value>1</value>
</property>

<!--配置HDFS的权限-->
<property>
 <name>dfs.permissions</name>
 <value>false</value>
</property>

</configuration>

5.vim core-site.xml 

<configuration>

<!--配置主机NameNode的主机地址-->
<property>
 <name>fs.defaultFS</name>
 <value>hdfs://内部识别Ip:9000</value>
</property>

<!--配置存放Datenode数据-->
<property>
 <name>hadoop.tmp.dir</name>
 <value>/usr/local/hadoop/tmp</value>
</property>

</configuration>

注意：tmp为自己新建的目录（这里的tmp我建在hadoop文件夹下）

6.vim mapred-site.xml

<configuration>

<!--配置MR运行框架-->
<property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
</property>

</configuration>

7.vim yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
<!--配置resourcemanagerd的地址-->
<property>
 <name>yarn.resourcemanager.hostname</name>
 <value>内部识别IP</value>
</property>

<!--配置Nodename的执行方式-->
<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
</property>

</configuration>

注意：配置中的IP为服务器内部识别的ip！！！！！！

查看内部识别ip指令：ip addr

8.格式化namenode

hdfs namenode -format

出现以上表示格式化成功！

9.最后启动hdfs&yarn

（1）hdfs：存储数据

（2）yarn：执行程序并计算

方法一：全部启动

start-all.sh

方法二：逐个启动

hadoop-daemon.sh   start   namenode                    启动NameNode 

hadoop-daemon.sh   start   datanode                      启动DataNode 

hadoop-daemon.sh   start  secondarynamenode    启动SecondaryNameNode  

yarn-daemon.sh   start   resourcemanager              启动ResourceManager      

hadoop-daemon.sh   start   nodemanager               启动NodeManager

注意：有时候启动缺少datanode，则清除tmp内文件即可。

10.验证是否配置成功:jps

11.访问

ip地址:8088

ip地址:50070

显示以上代表可以成功访问！

注意：以上用到的8088，50070，9000端口都要去添加阿里云安全组配置，及开启防火墙，详细方法参照：

https://blog.csdn.net/qq_41020714/article/details/88080192

温馨提示：有任何出错请查看logs文件，再有出错请留言交流谢谢~