qq_45494908的博客

HiveSQL on Hadoop：以SQL 和方式运行在Hadoop上。SQLUDF对大数据处理，最后落地最好都是SQL实现，受众所有语言的编程人员。对MapReduce来说需要开发大量代码。每一个框架的诞生都是为了去解决一类问题，没有一个框架能兼容所有场景。对于MR来说，就是用于：批计算、离线计算。 ==> Hive 也是。基于Hadoophive.apache.org由Facebook开源，处理海量结构化数据的统计问题。构建在Hadoop之上:Hive的数据是存在hd

hadoop支持lzo ，见上一篇博文：https://blog.csdn.net/qq_45494908/article/details/122518940?spm=1001.2014.3001.5501参考：https://blog.csdn.net/TomAndersen/article/details/1068925221.在core-site.xml文件的io.compression.codecs参数中添加lzo、lzop压缩对应的编解码器类，并配置io.compression.codec.

使用IDEA 编译Hive源码。启动Hive，并查询数据时报错：Failed with exception java.io.IOException:org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-533367018-172.16.69.205-1640615257526:blk_1073741857_1033 file=/user/hive/warehouse/my_db.db/emp_hive/emp

源码包：apache-hive-3.1.2-src.tar.gz编译:mvn clean compile -Phadoop-2 -DskipTestsBuild创建UDF函数创建resources配置文件启动metasore启动CliDriver验证自定义UDF函数

Hive官网学习一些常用内置函数UDF 一进一出。 如：upper lower substrUDAF 多进一出 。 如：sum …UDTF 一进多出。 如：explode以及如何实现自定义UDF函数

hive数据：数据存放在HDFS: hdfs://Gargantua:9000/user/hive/warehouse元数据存放在MySQL整合MySQL：hive-site.xml 配置mysql连接驱动jar包初始化数据库到MySQL启动 [liqiang@Gargantua bin]$ hive后端启动 hiveserver2 &