
Hive
hive定义了一个类似于SQL的查询语言:HQL,能 够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行。
胡子球手
谦虚请教
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Hive删除表分区名是乱码,drop不掉的解决办法
运行之后这个分区无法删除使用方法:urlDecode解密乱码的分区,解码工具网址:http://www.jsons.cn/urlencode再一次进行删除,ok了alter table lab.fz_q3_id_20171026_v3 drop partition (no='no=10_bs_xsz');原创 2020-09-03 10:31:13 · 857 阅读 · 1 评论 -
Hive下的SQL语法总结
(1).Hive不支持join的非等值连接,不支持or分别举例如下及实现解决办法。 不支持不等值连接 错误:select * from a inner join b on a.id<>b.id 替代方法:select * from a inner join b on a.id=b.id and a.id is null; 不支持or 错误:select * from a inner join b on a.id=b.id or a.name=b.原创 2020-08-27 10:33:07 · 1016 阅读 · 0 评论 -
hive的日期函数02版本
1.时间戳函数日期转时间戳:从1970-01-01 00:00:00 UTC到指定时间的秒数获得当前时区的UNIX时间戳: select unix_timestamp(); 1533716607将指定的时间转为UNIX时间戳 :select unix_timestamp(‘2018-08-08 16:22:01’); 1533716521将指定的时间转为UNIX时间戳: select unix_timestamp(‘2018-08-08 16:22:01’,‘yyyy-MM-dd HH:mm:ss’原创 2020-08-21 14:44:53 · 839 阅读 · 0 评论 -
Hive 四种 排序窗口函数的区别
rownumber() 正常顺序排序rankover() 正常顺序排序, 并列多出的算个数dense_rank() 正常顺序排序, 并列多出的不算个数ntile() 大概均分为几份, 并不保证完全绝对均分...原创 2020-07-30 15:16:46 · 1141 阅读 · 0 评论 -
hive入门详解(七)之hive实战练习
需求描述统计视频网站的各种topN1、统计视频观看数 Top102、统计视频类别热度 Top103、统计视频观看数 Top20 所属类别4、统计视频观看数 Top50 所关联视频的所属类别 Rank5、统计每个类别中的视频热度 Top106、统计每个类别中视频流量 Top107、统计上传视频最多的用户 Top10 以及他们上传的视频8、统计每个类别视频观看数 Top10第一步:对数据预处理原始数据示例:qR8WRLrO2aQ:mienge:406:People & Blo原创 2020-06-26 16:20:08 · 1130 阅读 · 0 评论 -
hive入门详解(六)之常用查询的函数和自定义函数
一些常用查询函数1,空字段赋值2,case when3,窗口函数4,Rank1,空字段赋值NVL:给值为 NULL 的数据赋值,它的格式是 NVL( string1, replace_with)。它的功能是 如果 string1 为 NULL,则 NVL 函数返回 replace_with 的值,否则返回 string1 的值,如果两 个参数都为 NULL ,则返回 NULL。查询:如果员工的 comm 为 NULL,则用-1 代替 hive (default)> select nvl原创 2020-06-20 16:20:50 · 1145 阅读 · 0 评论 -
hive入门详解(五)之分桶表及抽样查询
分桶1.分桶表数据存储2.分桶抽样查询1.分桶表数据存储1.1,分区针对的是数据的存储路径;分桶针对的是数据文件。(1)创建分桶表create table stu_buck(id int, name string) clustered by(id) into 4 buckets row format delimited fields terminated by '\t'; (2)查看表结构hive (default)> desc formatted stu_buck;需要设置原创 2020-06-19 08:12:41 · 1757 阅读 · 0 评论 -
hive入门详解(四)
查询1,基本查询(select…from)2,where语句3,分组4,join语句5,排序6,分桶及抽样查询7,其他常用查询函数1,基本查询(select..from)1.1,全表和特定列查询1.全表查询hive (default)> select * from emp;2.选择特定列查询 hive (default)> select empno, ename from emp;注意:(1)SQL 语言大小写不敏感。(2)SQL 可以写在一行或者多行(3原创 2020-06-18 17:43:58 · 2665 阅读 · 0 评论 -
hive入门详解(三)
DML 数据操作1,数据导入到hive表中方式2,从hive表中导出的方式3,清除表中的数据1,数据导入到hive表中方式1.1 ,向表中装载数据(Load)语法:hive> load data [local] inpath '/opt/module/datas/student.txt' overwrite | into table student [partition (partcol1=val1,…)];(1)load data:表示加载数据(2)local:表示从本地加载数据到原创 2020-06-18 07:59:51 · 1678 阅读 · 0 评论 -
hive入门详解(二)
DDL语句定义1,创建数据库2,查询数据库3,修改数据库4,删除数据库5,创建表6,分区表7,修改表8,删除表1,创建数据库1)创建一个数据库,数据库在 HDFS 上的默认存储路径是/user/hive/warehouse/*.db。 hive (default)> create database db_hive; 2)避免要创建的数据库已经存在错误,增加 if not exists 判断。(标准写法) hive (default)> create database原创 2020-06-17 18:19:37 · 1655 阅读 · 0 评论 -
hive入门详解(一)
1,什么是 HiveHive:由 Facebook 开源用于解决海量结构化日志的数据统计。Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并 提供类 SQL 查询功能。本质是:将 HQL 转化成 MapReduce 程序...原创 2020-06-16 20:01:04 · 1831 阅读 · 0 评论 -
Hive中时间日期函数的使用
to_date:日期时间转日期函数select to_date(‘2015-04-02 13:34:12’);输出:2015-04-02from_unixtime:转化unix时间戳到当前时区的时间格式select from_unixtime(1323308943,’yyyyMMdd’);输出:20111208unix_timestamp:获取当前unix时间戳select unix...原创 2020-04-28 15:09:01 · 5890 阅读 · 0 评论 -
hive语句
创建video_ori表 数据以 : 字段之间以进行分割create table video_ori( videoId string, uploader string, age string, category string, length string, views string, rate string, ratings string, comments string, relatedId...原创 2020-01-06 15:02:17 · 2364 阅读 · 0 评论