为Hive-1.2新增thrift接口的步骤

最新推荐文章于 2024-08-19 11:05:51 发布
最新推荐文章于 2024-08-19 11:05:51 发布
阅读量1k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： # Hive 文章标签： hive java hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44112790/article/details/127776429
本文详细介绍了在Hive-1.2中添加Thrift接口的步骤，包括在`hive_metastore.thrift`中定义接口和类型，使用thrift工具编译，实现Java Server和Client代码，以及进行测试和构建过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

Thrift

定义

在hive_metastore.thrift定义接口、自定义bean类型和自定义异常

编译

  1. brew install [email protected]安装对应版本的thrift
  2. 下载对应版本的fb303文件，保存到${thrift.home}/share/fb303/if/
  3. 在hive项目路径下执行mvn clean install -U -Pthriftif -DskipTests -Dthrift.home=/usr/local/opt/[email protected] -Phadoop-2

Java

代码

Server

  1. 在HiveMetaSrore中实现定义的thrift接口
  2. 在RawStore/ObjectStore中定义并实现接口(可以看作控制层)，调用MetaStoreDirectSql。
  3. 在MetaStoreDirectSql中实现访问数据库的操作

因为SQL Pattern较为固定，没有采取DAO层处理model，而是直接在MetaStoreDirectSql写query进行查询。

Client

  1. IMetaStoreClient中定义接口
最低0.47元/天 解锁文章
【硬刚大数据之面试篇】2021年从零到大数据专家面试篇之Hive篇
微信搜：import_bigdata，大数据领域硬核原创作者
08-12 1685
欢迎关注博客主页：https://blog.csdn.net/u013411339 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】2021年从零到大数据专家的学习指南(全面升级版)》的面试部分补充。 硬刚大数据系列文章链接： 2021年从零到大数据专家的学习指南(全面升级版) 2021年从零到大数据专家面试篇之Hadoop/HDFS/Yarn篇 2.
hive(四)--在java中通知thrift接口操作hive
panda-star的博客
04-23 1508
hive(四)–在java中通知thrift接口操作hive 文章目录hive(四)--在java中通知thrift接口操作hive一、简介二、hive启动thrift接口2.1 hadoop配置2.2 hive配置2.3 启动2.4 验证2.5 注意三、java操作hive3.1 添加maven依赖3.2 示例 一、简介 本文介绍在java中通知thrift操作hive。 二、hive启动thr...
Hive Metastore源码新增Thrift API方法
书忆江南的IT博客
08-02 3907
如果工作中使用了m1芯片Mac，则protobuf等底层通信和序列化相关的老版本jar包没有提供osx_aarch64版本（例如hive3依赖的2.5.0版本），本地编译无法通过，需要利用到Linux上的thrift命令行来对hive源码进行编译和自动代码生成。同时还有.cpp、.php等其他语言文件的改动和生成，如果不需要实现其他语言的接口，可以把除.java以外的文件改动都撤回（例如使用。从rpc通信的client和server端角度，目前完善的是server端的代码，如果。...
Hive的thrift服务
热门推荐
wang_ying_198的专栏
04-20 1万+
Hive具有一个可选的组件叫HiveServer或HiveThrift，其允许通过指定端口访问Hive。 启动Thrift Server 进入Hive安装目录 使用如下命令开启服务 hive --service hiveserver & 检查HiveServer是否启动成功使用如下命令  netstat -nl | grep 10000 配置Groovy使用HiveSe
hiveserver2 java thrift api 接口使用事例
taoxinwan的专栏
08-06 5501
首先定义接口
Hive之——Thrift服务
冰河的专栏
03-18 1万+
转载请注明出处：https://blog.csdn.net/l1028386804/article/details/88636689 Hive有个可选的组件叫做HiveServer或者HiveThrift，其允许通过制定端口访问Hive。Thrift是一个软件框架，允许客户端使用包括Java、C++、Ruby和其他很多种语言，通过编程的方式远程访问Hive。 启动Thrift Server ...
CDH 之 hive 升级至 hive-3.1.3 完美踩坑过程
予挚之的博客
06-08 4396
这是博主在升级过程中遇到的问题记录，大家不一定遇到过，如果不是 CDH 平台的话，单是 hive 服务升级应该是不会有这些问题的，且升级前博主也参考过几篇相关 CDH 升级 hive 服务的博文，前面的升级步骤基本一致，但是升级过程只有我遇到了这些问题吗？单拎出来这些报错，度娘多多少少还是可以找到一些类似的解决方案，不过经过博主测试，都不能解决出现的问题，因此才有了此篇博文，当然最后也完美解决了所有问题，不保证后面使用过程中是否会出现问题，因为还没有进一步测试，但是升级和使用，是没有问题的。！
Hive
joob000的博客
01-11 769
一、CentOS 6.8中安装mysql https://blog.csdn.net/joob000/article/details/85699213. 二、Hive环境安装 Hive安装 1、到下载地址http://apache.fayea.com/hive/，下载apache-hive-1.2.1-bin.tar.gz，解压 tar -xzvf apache-hive-1.2.1-...
大数据学习之路-Hive
weixin_43441789的博客
03-09 1096
Hive1. Hive基本概念1.1 什么是Hive1.2 Hive的优缺点1.2.1 优点1.2.2 缺点1.3 Hive架构原理1.4 Hive和 数据库比较1.4.1 查询语言1.4.2 数据更新1.4.3 执行延迟1.4.4 数据规模2. Hive安装2.1 Hive安装地址2.2 MySql安装2.3 Hive安装部署2.4 Hive元数据配置到MySql2.4.1 拷贝驱动2.4.2 配置Metastore到MySql2.5 启动Hive2.5.1 初始化元数据库2.5.2 启动Hive2.5.
Hive thrift服务
dianji4156的博客
07-23 239
18/07/23 03:12:22 [main]: ERROR beeline.ClassNameCompleter: Fail to parse the class name from the Jar file due to the exception:java.io.FileNotFoundException: minlog-1.2.jar (No such file or dire...
启动hive端口被占用问题：org.apache.thrift.transport.TTransportException: Could not create ServerSocket on addr
最新发布
初
08-19 507
之前执行hive --service metastore 时未启动完全。jps命令查看Runjar端口号。kill -9 端口号即可。
Hive加强之Hive thrift服务
LY_1029931307的博客
08-14 983
cd $HIVE_HOME cd /bin:beeline hiveserver2 一.开启服务，远程连接 ①启动为前台（一般来说，前台服务用的很少）： 特点：第一如果你把窗口关闭，这个服务就死了，第二会在这个窗口把运行的日志打印出来 ②启动为后台： a.把标准输出和错误输出分别输出到指定的日志文件里面： 命令：nohup ./bin/hiveserver2 1>/var/lo...
Hive的jdbc/thrift方法连接
qq5132834的专栏
04-29 1005
1、引入pom文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven....
Hive thrift服务（将Hive作为一个服务器，其他机器可以作为客户端进行访问）
weixin_34235371的博客
12-12 385
 步骤一：启动为前台：bin/hiveserver2 步骤二：启动为后台：nohup bin/hiveserver2 1&gt;/var/log/hiveserver.log 2&gt;/var/log/hiveserver.err &amp; 1：启动成功后，可以在别的节点上用beeline去连接 　　方式一： 　　　　hive/bin/beeline  回车，进入beeline的命...
基于Thrift的分布式Hive数据源连接器
阿生
08-15 1163
最近要写一个通过thrift连接hive的工具，传统的jdbc代码是不能获取日志的，因此需要定制一个可以获取hive 执行日志的客户端。我的连接是在节点A获取的，然后在节点A上执行了查询。那么我下次继续请求更新的日志信息的时候，请求可能到达了节点B。由于spring项目内已经注册的有Hazelcast集群，所以我们仅仅在此处检测JVM内存在的Hazelcast资源即可，检测到之后取出来就可以使用。问题的根源就是请求日志或者数据的时候请求是异步的，请求之后立马返回，下次请求具体到达什么节点是不确定的。...
hive thrift是什么
weixin_40652256的博客
08-01 142
给大家整理了一些有关【Hive,F】的项目学习资料（附讲解～～）：https://edu.51cto.com/course/31545.htmlhttps://edu.51cto.com/course/27963.htmlHive Thrift 详解 在大数据的世界里，Apache Hive 是一种非常流行的数据仓库软...
hive的三种使用方式
weixin_33695082的博客
03-28 510
2019独角兽企业重金招聘Python工程师标准>>> ...
HIVE修改默认端口
weixin_43159039的博客
12-22 6655
HIVE修改默认端口
如何扩展Hive Metastore Thrift RPC服务接口
None
11-19 481
Hive 在经历十几年的发展，已经获得广泛应用，随着版本升级，不同版本之间的协议接口会发生一些变化，尽管HMS在尽量保持向前兼容，但在大版本变更时，仍然不能保证完全兼容，比如HMS2到HMS3，有关索引（Index）相关的接口变成了约束（constraint），比如下图中左边是HMS3接口定义，右边是HMS2接口定义：这样当使用Hive 2的Client去访问HMS 3 的服务时候，就会报无效方法...
hive-thriftserver
08-06
Hive-ThriftServer是Apache Hive的一个组件，它允许用户通过标准的Thrift协议与Hive交互，从而查询Hive的数据仓库。Hive本身是基于Hadoop的数据仓库工具，而ThriftServer提供了一个客户端驱动程序，使得用户可以通过SQL命令连接到Hive服务器，执行HQL（Hive Query Language）查询。 **安装与配置Hive-ThriftServer:** ```bash # 安装依赖 sudo yum install thrift-server # 启动ThriftServer beeline -u "jdbc:hive2://<hostname>:<port>" -n <username> -p <password> # 或者启动standalone模式 hive --service hiveserver2 & # 配置Hive-site.xml以启用Thrift支持 <property> <name>hiveserver2.thrift.bind.host</name> <value>0.0.0.0</value> </property> <property> <name>hiveserver2.thrift.port</name> <value><your-port></value> </property> ``` **连接与使用:** 在ThriftServer上，你可以使用如Beeline（Hive的命令行工具）或第三方数据库客户端来连接。下面是一个简单的Beeline示例： ```bash beeline -u "jdbc:hive2://localhost:10000/default" -n <username> -p <password> ``` 一旦连接，就可以开始执行HQL查询了： ```sql -- 示例查询 SELECT * FROM my_table; ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值