hiveserver2 HA

最新推荐文章于 2025-05-12 19:18:19 发布

dingyanming

最新推荐文章于 2025-05-12 19:18:19 发布

阅读量3.2k

点赞数

CC 4.0 BY-SA版权

文章标签： hive hiveserver HA

本文链接：https://blog.csdn.net/dingyanming/article/details/78606971

本文介绍了HiveServer2高可用(HA)架构原理及配置步骤。通过Zookeeper实现服务发现与负载均衡，确保集群稳定性。即便单点故障，也能无缝切换。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

背景介绍：

大家好，昨日离线集群很多租户包括自己团队反应hive提交任务会卡住，或则几乎登录不上去，我看了一下yarn的资源，资源基本上是空闲的，几乎没有用的，根据我的经验，我猜测可能是hiveserver2服务出问题了，于是直接使用cli（hive命令），试了一下，没问题，此时虽然还没有看日志，但是已经想到hiveserver2服务出问题了，由于是生产环境，没有想太多，赶快重启了hiveserver2服务，然后开始想怎么实现HA高可用，查了一下资料，大概心里有点底了！下面开始介绍hiveserver2 HA

架构原理介绍：

、

上图是一个简单的架构图，表示一下思路，接下来让我们看一下上图

这里最主要的是利用了zk的命名空间，首先我们把两个hiserver2先后启动，注册到zk集群的，然后通过zk轮询做高可用，就是这么简单，下边详细讲解一下，安装配置

第一步在两台节点上安装hive，除了配置的ip不同，其他的都相同，并在hive-site.xml中添加如下配置

<property>
<name>hive.server2.support.dynamic.service.discovery</name>
<value>true</value>
</property>


<property>
<name>hive.zookeeper.quorum</name>
<value>node5:2181,node4:2181,node3:2181</value>
</property>


<property>
<name>hive.server2.thrift.bind.host</name>
<value>0.0.0.0</value>
</property>

然后保存文件

第二步

启动分别启动两个hiveserver2服务，确认端口是否监听 netstat -lnp | grep 10000 ，默认端口是10000

第三步

查看zk集群是否有了配置文件中的命名空间，确认有了以后

第四步

发起请求，命令如下

beeline -u "jdbc:hive2://node5:2181,node4:2181,node3:2181/ding;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2_zk" -nhadoop -phadoop123$

beeline -u就不解释了

node5:2181,node4:2181,node3:2181 表示zk集群的连接信息

ding 表示要连接的hive库

serviceDiscoveryMode=zooKeeper 表示指定hiveserver连接模式为zookeeper连接

zooKeeperNamespace=hiveserver2_zk指定配置文件中的命名空间

-nhadoop 表示当前用户用hadoop用户连接beeline

-phadoop123$ 表示当前用户的密码（这里beeline的权限认证使用的是自定义的权限控制）

然后进入客户端进新房操作

第五部我们杀了了其中一个hiveserver2，比如hiveserver2-1，然后还可以请求，多次测试可以使用

ok，到这里就介绍完了，特别简单，但是这里还有个问题，目前还不知道怎么解决，如果客户端连接成功，正在执行sql语句的时候，突然客户端连接的hiveserver2挂了，那么正在执行的sql就会终止，目前还没有好的解决思路！