weixin_43923463的博客

一 数据结构1 视频表字段备注详细信息video id视频唯一id（String）11位字符串uploader视频上传者（String）上传视频的用户名Stringage视频年龄（int）视频在平台上的整数天category视频类别（Array）上传视频指定的视频分类length视频长度（Int）整形数字标识的视频长度views观看次数（Int）视频被浏览的次数rate视频评分（Double）满分5分Rat

文章目录一 自定义函数1 UDF函数二 压缩和存储1 开启Map输出阶段压缩2 开启Reduce输出阶段压缩3 比较各种文件存储格式（1）ORC格式（2）Parquet格式（3）主流文件存储格式对比4 比较各种文件压缩格式（1）创建一个非压缩的的ORC存储方式（2）创建一个SNAPPY压缩的ORC存储方式（3）创建一个SNAPPY压缩的parquet格式一 自定义函数Hive的内置函数不可能覆盖所有的需求根据用户自定义函数类别分为以下三种：（1）UDF（User-Defined-Function）

一 函数1 系统内置函数（1）查看系统内置函数show functions;（2）查看系统内置日期相关函数show functions like "*date*";（3）查看内置函数用法desc function 'current_date';（4）使用内置函数select current_date();2 常用查询函数（1）空字段赋值NVL：给值为NULL的数据赋值，它的格式是NVL( value，default_value)。它的功能是如果value为NULL，则NVL

一 DML1 数据导入（1）从本地磁盘或者HDFS导入数据load data [local] inpath '/opt/module/datas/student.txt' [overwrite] into table student [partition (partcol1=val1,…)];有local为本地文件，否则文件在集群上写了overwrite是覆盖导入，否则为追加导入例子--从本地磁盘追加导入load data local inpath '/opt/module/dat

更换tez引擎后，如果执行任务卡住，修改调节容量调度器的资源调度策略，修改以下配置信息cd /opt/module/hadoop-3.1.3/etc/hadoop/vim tez-site.xml <!--容器给AM分配的资源--><property> <name>tez.am.resource.memory.mb</name> <value>1024</value></proper...

Hive使用Hive的JDBC访问启动beeline客户端，出现各种版本号说明连接成功beeline -u jdbc:hive2://hadoop101:10000 -n hike连接成功可以当做mysql来使用创建数据库create table student(id int,mame string);插入几条数据insert into table student values(1001,"zhangsan");查看数据select * from student;s

问题描述Failed to execute tez graph.java.lang.RuntimeException: com.ctc.wstx.exc.WstxUnexpectedCharException: Unexpected character ‘-’ (code 45) in content after ‘<’ (malformed start element?).at [row,col,system-id]: [4,2,“file:/opt/module/hadoop-3.1.3/

问题描述hive集群在初始化数据库时`schematool -initSchema -dbType mysql -verbose`出现Table 'CTLGS' already exists.问题原因之前的数据库已经存在，不能够完成初始化操作，需要重新进入mysql删除原有的元数据库并对其重建随后执行schematool -initSchema -dbType mysql -verbose，对元数据库进行初始化成功！...

错误信息org.apache.tez.dag.api.SessionNotRunning: TezSession has already shutdown. Application application_1648284477641_0003 failed 2 times due to AM Container for appattempt_1648284477641_0003_000002 exited with exitCode: 1报错原因hadoop集群上从机上运行的Container试

Hive基本概念什么是HiveHive：由Facebook开源用于解决海量结构化日志的数据统计工具。结构化数据：有规律的数据，比如日志文件，不能称之为一张表格，因为其缺少了描述这份数据的元数据（表头，注释等描述信息）。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。Hiva不存储数据，将来Hive处理的数据全部存储到HDFS上，Hive还可以将缺少元数据的数据映射成一张表。其实，Hive就是给这份数据加上了一些描述信息。将一份没有元

报错信息WARN jdbc.HiveConnection: Failed to connect to hadoop101:10000Error: Could not open client transport with JDBC Uri: jdbc:hive2://hadoop101:10000: Failed to oang.RuntimeException: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.autho