SparkSQL整合Hive后，如何启动hiveserver2服务

最新推荐文章于 2024-12-11 13:46:45 发布

我的K8409

最新推荐文章于 2024-12-11 13:46:45 发布

阅读量658

点赞数 7

CC 4.0 BY-SA版权

分类专栏： Hive Spark 文章标签： hive hadoop 数据仓库

本文链接：https://blog.csdn.net/ABU009/article/details/143357193

Spark 同时被 2 个专栏收录

11 篇文章

订阅专栏

Hive

5 篇文章

订阅专栏

当spark sql与hive整合后，我们就无法启动hiveserver2的服务了，每次都要先启动hive的元数据服务（nohup hive --service metastore）才能启动hive,之前的beeline命令也用不了，hiveserver2的无法启动，这也导致我们之前用的什么datagrip等远程连接工具也无法连接hive,为了还能向之前一样启动hiveserver2服务，我们需要进行以下操作：

首先，我们先启动hive的元数据服务

nohup hive --service metastore >> /usr/local/soft/hive-3.1.1/metastore.log 2>&1 &

然后直接启动hiveserver2

hiveserver2

发现报错：

报错拉到最后

一、修改hive-site.xml文件

增加一个配置

<property>
    <name>hive.metastore.event.db.notification.api.auth</name>
    <value>false</value>
</property>

二、重启hive元数据

将之前启动的元数据服务先杀死，再次启动以下命令

nohup hive --service metastore >> /usr/local/soft/hive-3.1.1/metastore.log 2>&1 &

三、启动hiveserver2

hiveserver2
#或者挂后台
nohup hiveserver >> /usr/local/soft/hive-3.1.1/hiveserver2.log 2>&1 &

然后就能正常启动，并且和之前一样开启hiveserver2后，datagrip可以进行远程连接

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

我的K8409

关注关注

7
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

Java 连接 Spark Thrift Server/Hive Server总结

主要分享大数据相关的知识，如Spark、Hudi

08-26

2897

我的原创地址：https://dongkelun.com/2021/02/19/javaSparkThriftServer/ 前言总结Spark Thrift Server、Hive Server以及如何用Java连接启动 hive server hiveserver2 或 hive --service hiveserver2 默认端口是1000 spark thrift server 修改hive.server2.transport.mode为http(默认值为binary（TCP），可选值HTTP

SparkSQL整合Hive与启动HiveServer2

weixin_45484707的博客

10-05

2022

一、Spark整合Hive： ①SparkSQL兼容Hive的源数据库、兼容Hive的自定义函数、兼容Hive的序列化和反序列化。 ②可以用SparkSQL替代Hive或者将Hive的引擎由MapReduce换成SparkSQL。 ③启动SparkSQL必须是client模式，不能是cluster模式；启动SparkSQL时可以指定启动模式，错误示例如下： bin/spark-sql --deploy-mode cluster --master spark://linux02:7077 --driver-

参与评论您还未登录，请先登录后发表或查看评论

Spark on Hive——Spark远程连接Hive，对Hive中的表进行操作

雷神乐乐的博客

04-06

4604

Spark on Hive&Spark on Mysql

【原创】大数据基础之Spark（3）Spark Thrift实现原理及代码实现

weixin_30312557的博客

12-18

342

spark 2.1.1 一启动命令启动spark thrift命令 $SPARK_HOME/sbin/start-thriftserver.sh 然后会执行 org.apache.spark.deploy.SparkSubmit --class org.apache.spark.sql.hive.thriftserver.HiveThriftServer2 二启动...

spark-hive连接操作流程、踩坑及解决方法

GitHub-ChauserMondieu

04-05

2279

hive安装；spark-hive兼容版本编译；spark-sql操作hive表格

SparkSQL与Hive的整合

最新发布

Aidon博客

12-11

1758

本文包含Spark On Hive、Hive On Spark、SparkSQL命令行、SparkSQL分布式查询的介绍和实践操作.

SparkSql 整合 Hive ,Thriftserver启动后自动退出的问题解决办法

c1026626434的博客

01-20

687

SparkSql 整合 Hive ,Thriftserver启动后自动退出的问题解决办法

SparkSQL 整合 Hive，工作场景最实用

欢迎来到技术宅的社区

04-02

684

SparkSQL 整合 Hive Hive 是一个外部的数据存储和查询引擎, 所以如果 Spark 要访问 Hive 的话, 就需要先整合 Hive。整合什么 ? MetaStore, 元数据存储 SparkSQL 内置的有一个 MetaStore, 通过嵌入式数据库 Derby 保存元信息, 但是对于生产环境来说, 还是应该使用 Hive 的 MetaStore, 一是更成熟, 功能更强, ...

Spark SQL 快速入门系列（五）SparkSQL 访问 Hive

weixin_45417821的博客

09-06

1292

文章目录访问 HiveSparkSQL 整合 Hive访问 Hive 表idea实现SparkSQL连接hive 访问 Hive 导读 1，整合 SparkSQL 和 Hive, 使用 Hive 的 MetaStore 元信息库 2，使用 SparkSQL 查询 Hive 表 3，案例, 使用常见 HiveSQL 4，写入内容到 Hive 表 SparkSQL 整合 Hive 导读 1，开启 Hive 的 MetaStore 独立进程 2，整合 SparkSQL 和 Hive 的 MetaStore

Spark SQL与Hive的整合

weixin_71016778的博客

06-21

649

Spark SQL 是 Spark 生态系统中的一个组件，它提供了用于处理结构化和半结构化数据的编程接口。通过整合 Hive，Spark SQL 能够利用 Hive 的数据模型和元数据，从而简化大数据的处理流程。本文将详细介绍 Spark SQL 整合 Hive 的步骤、操作 Hive 的几种方式以及 Spark SQL 的基本使用和内置函数。ZooKeeper 是一个开源的分布式协调服务，它广泛应用于构建大规模分布式系统的协调框架。ZooKeeper 提供了配置管理、分布式同步、组服务等功能。

SparkSQL访问Hive源

chy2z的专栏

11-18

902

软件环境 hadoop2.7.6 spark-2.3.0 scala-2.11.12 hive-2.1.1 SparkSQL命令行模式可以直接连接Hive的将hive目录中的 D:\Soft\apache-hive-2.1.1-bin\conf\hive-site.xml 文件拷贝贝到D:\Soft\spark\confspark目录中 D:\soft\spark\jars 目录...

220713，PySpark应用程序开发，

m0_48941160的博客

07-15

360

Metastore元数据管理服务，负责管理元数据，实现元数据共享，接收所有读写元数据请求。任何一个Spark程序都由两种进程组成Driver-驱动进程和Executor-计算进程。HiveServer2Hive服务端，负责接收SQL、解析SQL转换成Hadoop任务。zk中，Leader故障，Follower选举成为新的Leader。ZK的主节点故障，允许从其他从节点中选举一个新的主节点。SparkMaster8080集群监控，改端口，一定修改配置文件，配置文件中一定会有。......

hiveserver2服务的启动与简单使用技巧

终极量化数据的专栏

08-02

1万+

一、hiveserver2简介 Hive在生产上是不需要部署集群的，操作Hive只需要通过它提供的客户端即可，Hive提供了大致三类客户端： hive shell：通过hive shell来操作hive，但是至多只能存在一个hive shell，启动第二个会被阻塞，也就是说hive shell不支持并发操作。 WebUI：通过HUE/Zeppelin来对Hive表进行操作。基于JDBC等协议：启动hiveserver2，通过jdbc协议可以访问hive，hiveserver2支持高并发。简而言之，h

pyspark.SparkSession查询hive数据写入mysql

AyubLIbra的博客

08-21

717

# -*- coding: utf-8 -*- # created by say 2021-06-09 from pyspark.sql import SparkSession import datetime import logging import pymysql import sys, os sys.path.append(os.getcwd()) isPrd = True MP_DB_CONNECT_INFO = \ {'host': '123456.mysql.aliyun.co.

hive的hiveserver2配置及问题

近海_

09-02

6228

前题 hive跑起来了，再继续下面步骤～文件修改 1.配置hive-site.xml 切换到hive的conf目录下，打开hive-site.xml文件 cd /Users/zhaohaichao/programming/hive-1.1.0-cdh5.15.1/conf vi hive-site.xml 添加以下配置 <property> <name>hive.server2.authentication</name> <val

hiveserver2的配置和启动

热门推荐

leanaoo的博客

10-24

6万+

概览 1.配置hive-site.xml 2.配置hadoop中的core-site.xml文件 3.测试首先将hive安装然后更改部分配置文件 1.配置hive-site.xml 利用Xshell工具连接虚拟机进入hive安装目录下的conf文件夹,更改hive-site.xml配置文件其中配置参考hive安装中的配置hive-site.xml 你会发现/usr/hive/apache-...

Spark1.6.0功能扩展——为HiveThriftServer2增加HA

beliefer的博客

04-16

2920

前言 HiveThriftServer2是Spark基于HiveServer2实现的多Session管理的Thrift服务，提供对Hive的集中式管理服务。HiveThriftServer2作为Yarn上的Application，目前只支持yarn-client模式——即Driver运行在本地，ApplicationMaster运行在NodeManager所管理的Container中。yarn-c...

Hive学习之HiveServer2服务端配置与启动，允许远程连接

崔向阳@李晓的博客

11-09

2万+

hive.metastore.warehouse.dir /usr/hive/warehouse //（hive中的数据库和表在HDFS中存放的文件夹的位置） location of default database for the warehouse hive.server2.thrift.port 10000

spark读取hive数据的两种方式

qq_42213403的博客

06-04

1万+

spark读取hive数据常用的有两种方式一是通过访问hive metastore的方式，这种方式通过访问hive的metastore元数据的方式获取表结构信息和该表数据所存放的HDFS路径，这种方式的特点是效率高、数据量大、使用spark操作起来更加友好。二是通过spark jdbc的方式访问，就是通过链接hiveserver2的方式获取数据,这种方式底层大题上跟spark链接其他rdbms上一样，可以采用sql的方式先在其数据库中查询出来结果再获取其结果数据，这样大部分数据计算的压力就放在了数.

sparksql整合hive导入hive-site.xml

07-28

您可以按照以下步骤将 Hive 的配置文件 `hive-site.xml` 导入 SparkSQL 中： 1. 将 `hive-site.xml` 文件复制到 Spark 的配置目录下。默认情况下，Spark 的配置目录是 `$SPARK_HOME/conf`，其中 `$SPARK_HOME` 是 Spark 的安装路径。 2. 在 SparkSQL 中创建一个 `SparkSession` 对象，并在创建之前设置一些相关的配置项。可以参考下面的示例代码： ```scala import org.apache.spark.sql.SparkSession val spark = SparkSession .builder() .appName("SparkSQL with Hive integration") .config("spark.sql.warehouse.dir", "/user/hive/warehouse") // 设置 Hive 仓库目录 .config("hive.metastore.uris", "thrift://localhost:9083") // 设置 Hive Metastore 的连接地址 .enableHiveSupport() // 启用 Hive 支持 .getOrCreate() ``` 在上面的示例中，您需要根据您的实际环境修改 `spark.sql.warehouse.dir` 和 `hive.metastore.uris` 的值。`spark.sql.warehouse.dir` 是 Hive 仓库目录的路径，`hive.metastore.uris` 是 Hive Metastore 的连接地址。 3. 使用 `spark.sql` 对象执行 Hive 相关的操作。例如，您可以执行 SQL 查询、创建表等。下面是一个简单的示例： ```scala spark.sql("SELECT * FROM my_table").show() ``` 上述代码将执行一条查询语句，从名为 `my_table` 的 Hive 表中检索数据，并将结果显示在控制台上。请注意，您还需要确保 Spark 和 Hive 的版本兼容，并且 Hive Metastore 服务正在运行。另外，如果您的 Spark 集群和 Hive Metastore 服务部署在不同的机器上，您需要相应地修改 `hive.metastore.uris` 的值。