Taerge0110的博客

复杂 SQL 查询是数据仓库中不可避免的挑战, 但我们可以通过多种优化策略来提高其性能和可维护性;选择合适的优化策略需要根据具体的业务场景、数据量、性能要求等因素总和考虑;窗口函数是数据仓库中进行数据分析的利器, 它能够帮助我们更轻松地计算各种指标、排名和趋势分析;掌握窗口函数的使用方法和优化技巧, 能够显著提高数据分析的效率和灵活性;

MapJoin 是大数据处理框架如 Apache Hive 中的一种优化技术, 专门用于提升联接操作 (Join Operation) 的效率;通常在处理海量数据时, 联接操作需要在两张或多张表直接匹配数据行, 这个过程可能会消耗大量的时间和资源;MapJoin 提供了一种优化方案, 通过Map 阶段完成联接操作, 减少数据传输量和计算开销, 从而加快查询速度;MapJoin 是大数据处理框架中一个非常有效的优秀技术, 特别适用于大表与小表的联接操作;

窗口函数的实现 & MySQL 实现窗口函数功能; 众所周知: MySQL从8.0版本开始支持窗口函数, 但是对于8.0版本之前的MySQL是无法使用窗口函数的, 我们可以通过一个类似嵌套子查询的方式, 来实现窗口函数的功能;

将某种数据类型的表达式,显式转换为另一种数据类型。

窗口函数分类：聚合函数、排序函数和值函数。SQL中的窗口函数是一种特殊的函数，它能够在查询结果中创建一个窗口或者窗口集合，然后对这个窗口进行计算。窗口函数可以用于分析和汇总数据，同时保留原始查询结果的行顺序。窗口函数基于查询结果的行数据进行计算，窗口函数运行在HAVING子句之后、 ORDER BY子句之前。窗口函数需要特殊的关键字OVER子句来指定窗口即触发一个窗口函数。

​CASE WHEN语句提供了一种在 SQL 查询中根据不同条件执行逻辑的灵活方法。它可用于简单的条件检查，也可用于复杂的逻辑操作。使用CASE WHEN可以使查询更具可读性，并且可以减少在应用程序代码中进行逻辑操作的需要。

本题的核心是找到小时级别的序列,‘统计每年在校人数’ 也是相同类型的题目, 可以熟练使用, 不管是天级别,小时级别,分钟级别 都可以使用次方法实现;‘统计每年在校人数’: https://blog.csdn.net/Taerge0110/article/details/135137626?

背景: 一个餐厅,经营一段时间的销售数据, 根据销售数据分析客户喜好, 以提升餐厅的营业水平

1：几种JOIN连接方式的区别？2：几种排序窗口函数的区别？3：on和where的区别？4：having和where的区别？5：union和union all的区别？6：in和exists的区别？7：数据库中空字符串、0和NULL的区别？8：count(1)、count(*)和count(列名）的区别？

Hive常用日期函数,时间函数。

hive有四种排序方法: ORDER BY 、SORT BY 、DISTRIBUTE BY 、CLUSTER BY。hive排序方法,hive的排序方式。

posexplode() 函数: 该函数可以将index和数据都取出来。可以使用 index 作为值和招生年份相加, 得出在校年份, 因为index是从0 开始的, 所以需要将年制 加1。

统计各品类售出商品的种类数和销量最好的商品。

计算部门的平均工资,要求去掉部门的最高和最低工资,如果部门的最高和最低工资有相同的,则去掉一个即可;

统计用户最大连续登陆天数, 间隔一天也算是连续登陆;例如: 用户 1 3 5 8 登陆, 算做连续登陆5天是连续登陆天数的升级版, 结合浏览窗口划分。

使用相同IP的用户问题:根据用户登录信息表(uuid,ip,log_in_time), 统计出使用相同ip数超过3个的, 登陆的用户有哪些.(也可以根据相同ip数, 时间等条件, 判断哪些用户是同一个人)

统计周一到周五各时段的叫车量、平均等待接单时间和平均调不同时段定义：早高峰 [07:00:00 , 09:00:00)、工作时间 [09:00:00 , 17:00:00）、晚高峰 [17:00:00 , 20:00:00）、休息时间 [20:00:00 , 07:00:00）全部以event_time-开始打车时间为时段划分依据，平均等待接单时间和平均调度时间均保留1位小数，平均调度时间仅计算完成了的订单，结果按叫车量升序排序。时间区间左闭右开（即7:00:00算作早高峰，而9:00:00不算做早高峰）

SQL中的JOIN操作, 是用于根据两个或多个表中的列之间的关系，从这些表中查询数据。

【代码】实际在职人数。

订单表包含字段: order_id(订单id), user_id(用户id), order_status(订单状态), operate_time(操作时间)在任意半小时内, 取消订单订单次数 >= 3 次的用户, 被认为是恶意购买用户(恶意买家), 找出订单表里的恶意购买用户;

规定同一个用户,在相邻两次浏览时间间隔不超过60s, 算做是同义词浏览(在同一个浏览窗口, 同一个会话);为浏览记录表增加一个浏览id(浏览窗口)字段, 同一个浏览窗口浏览id相同;题目: 有浏览记录表, user_id(用户编号), page_id(界面编号), view_timestamp(浏览时间戳)会话划分,浏览窗口划分, 浏览记录分段划分。

【代码】同时在限人数(同时在线最大人数)

方法一较方法二复杂一点方法二会发生数据膨胀现在, 适合小数据量使用, 方法一不会出现数据膨胀现在, 推荐使用方法一;

【代码】SQL统计连续登陆3天的用户(连续活跃超3天用户)

在对大表和一个或多个小表执行join操作时，mapjoin会将您指定的小表全部加载到执行join操作的程序的内存中，在Map阶段完成表连接从而加快join的执行速度。要使MapJoin能够顺利进行，那就必须满足这样的条件：除了一份表的数据分布在不同的Map中外，其他连接的表的数据必须在每个Map中有完整的拷贝。mapjoin在Map阶段执行表连接，而非等到Reduce阶段才执行表连接，可以缩短大量数据传输时间，提升系统资源利用率，从而起到优化作业的作用。mapjoin中多个小表用英文逗号（,）分隔，例如/

基本语法：函数 + over( [partition by …] [order by …] [窗口子句] )