- 博客(5)
- 收藏
- 关注
RSS订阅原创 Hive 自定义函数
导读 大家好，我是数据开发者，非常感谢大家最近的关注，你们的关注是我持续输出的动力，让我们共同提高。大数据平台下的数据仓库搭建过程中存在许多个性化的业务需求，或者说是系统需求，无法在 Hive 提供的内置函数中找到解决办法，为了解决这个问题，我们可以使用 Hive 自定义函数满足这种个性化需求。我们本篇就使用 Hive 中的自定义函数实现几种数仓搭建过程中的需求。Hive 有哪些自定义函数？ Hive 中存在三种类型的函数，分别是 UDF, UDAF, UDTF，这三种类型的 UDF 分别是：UD
2022-08-23 09:30:11
2998
1
原创 Hive Explain 详解
导读 前文 《一文读懂 SQL Server 执行计划》 中介绍过关系型数据库 SQL Server 的执行计划执行计划在数据开发过程中的重要性，以及如何阅读执行计划，根据执行计划分析 SQL 语句的执行效率问题并提出优化方案。Hive 是基于 Hadoop，实现了通过 SQL 操作 MapRedue 任务，简化了大数据编程的难度，使得普通用户也可以完成大数据程序开发。SQL 目前是使用最为广泛的结构化数据操作语言，未来大数据框架对 SQL 的支持也必将是一种趋势。Hive 在经过一系列编译过程后生成执
2022-08-14 11:23:02
2253
原创 SQL 开发的十个高级概念
导读 SQL 是一种每位数据开发者必备的开发语言，不同的用户使用 SQL 语言的程度不同，最开始接触到的 SQL 就是 SELECT ,INSERT, UPDATE, DELETE 以及 WHERE 子句对数据进行筛选，如果需要关联，可能会使用 JOIN 关联查询多张表。随着数据量的增多以及需求复杂性的要求，对数据开发者的要求可以不仅仅以上简单的使用方式。今天我们一起来了解一些日常开发中常用的几种 SQL 高级概念，带你在 SQL Server 数据开发中起飞。1，公共表达式 CTE CTE ( Co
2022-08-11 01:46:20
521
原创 数据仓库之日期维度表构建
导读 大家好，今日立秋，立秋是阳气渐收、阴气渐长，由阳盛逐渐转变为阴盛的转折。我们上一篇文章 数据仓库之维度表 介绍了数据仓库中维度表，本篇文章在此基础上介绍和构建维度表中的日期维度。Kimball 维度建模中的设计原则提到确保每一个事实表都具有关联的日期维度。数据仓库项目中，日期维度是最常见的，不可缺少的维度表之一。数据仓库之维度表本文中 ETL 转换使用 Kettle 9.3 版本实现，关注公众号回复关键字 dim_date 获取。为什么需要日期维度表 Kimball 认为数据仓库中最重要的三
2022-08-07 18:10:35
4823
1
原创 一文搞定 SQL Server 执行计划
导读 数据开发过程中，开发完成的 SQL 发布到生产环境，经常会发生 SQL 执行慢甚至根本无法执行，如何避免这种情况呢？这一篇我们分析一下 SQL Server 的执行计划是如何生成及如何阅读评估执行计划。基本概念 在此之前，我们先了解以下几个概念，方便我们理解。本文中的 SQL 语句案例以及执行计划均使用 SQL Server 2017 版本自带的 AdventureWorksDW 样例数据库。索引索引本质上就是一种帮助数据库高效获取数据的数据结构，比如 B 树树索引使用二分查找法查找，检索
2022-08-03 22:23:28
3887
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人