文章目录
部署 Hadoop 和 Hive
组件下载地址:https://archive.apache.org/dist/
版本选择
框架 | Hive | Hadoop |
---|---|---|
版本 | 3.1.3 | 3.1.3 |
Hadoop 部署
集群规划
主机 | hadoop102 | hadoop103 | hadoop104 |
---|---|---|---|
服务 | NameNode | ||
DataNode | DataNode | DataNode | |
ResourceManager | |||
NodeManager | NodeManager | NodeManager |
集群安装:https://blog.csdn.net/weixin_45417821/article/details/115268740 只看Hadoop集群安装部分即可
Hive 部署
集群规划
主机 | hadoop102 |
---|---|
服务 | Hivesever2 |
Metastore |
Hive 安装
1)把 apache-hive-3.1.3-bin.tar.gz上传到 linux 的/opt/software 目录下
2)解压 apache-hive-3.1.3-bin.tar.gz 到/opt/module目录下面
[root@hadoop102 hive]# tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /opt/module/
3)修改 apache-hive-3.1.2-bin.tar.gz 的名称为 hive
[root@hadoop102 module]# mv apache-hive-3.1.3-bin/ hive
4)修改/etc/profile,添加环境变量
[root@hadoop102 hive]# vim /etc/profile.d/my_env.sh
添加内容
#HIVE_HOME
export HIVE_HOME=/opt/module/hive
export PATH=$PATH:$HIVE_HOME/bin
5)解决日志 Jar 包冲突,进入/opt/module/hive/lib 目录(有冲突再做)
[root@hadoop102 lib]$ mv log4j-slf4j-impl-2.10.0.jar log4j-slf4j-impl-2.10.0.jar.b