Spark SQL 内置函数（一）Array Functions（基于 Spark 3.2.0）

最新推荐文章于 2025-01-20 16:18:17 发布
最新推荐文章于 2025-01-20 16:18:17 发布
阅读量1.1w 收藏 43
点赞数 18
CC 4.0 BY-SA版权
分类专栏： 大数据技术体系 文章标签： spark sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Shockang/article/details/121411061
本文详细介绍了 Spark SQL 中的 Array 函数，包括 array、array_contains、array_distinct 等函数的使用方法及示例，帮助读者更好地理解和掌握这些函数。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前言

本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系

目录

Spark SQL 内置函数（一）Array Functions（基于 Spark 3.2.0）

Spark SQL 内置函数（二）Map Functions（基于 Spark 3.2.0）

Spark SQL 内置函数（三）Date and Timestamp Functions（基于 Spark 3.2.0）

Spark SQL 内置函数（四）JSON Functions（基于 Spark 3.2.0）

Spark SQL 内置函数（五）Aggregate Functions（基于 Spark 3.2.0）

Spark SQL 内置函数（六）Window Functions（基于 Spark 3.2.0）

正文

array(expr, …)

描述

返回给定元素组成的数组。

实践

SELECT array(1, 2, 3);
+--------------+
|array(1, 2, 3)|
+--------------+
|     [1, 2, 3]|
+--------------+

array_contains(array, value)

描述

如果数组array包含指定值value，则返回true。

实践

SELECT array_contains(array(1, 2, 3), 2);
+---------------------------------+
|array_contains(array(1, 2, 3), 2)|
+---------------------------------+
|                             true|
+---------------------------------+

array_distinct(array)

描述

从数组array中去除重复的值。

实践

SELECT array_distinct(array(1, 2, 3, null, 3));
+---------------------------------------+
|array_distinct(array(1, 2, 3, NULL, 3))|
+---------------------------------------+
|                        [1, 2, 3, null]|
+---------------------------------------+

array_except(array1, array2)

描述

  • 返回的数组中包含array1中的元素，但不包含array2中的元素。
  • 没有重复元素。

实践

SELECT array_except(array(1, 2, 3), array(1, 3, 5));
+--------------------------------------------+
|array_except(array(1, 2, 3), array(1, 3, 5))|
+--------------------------------------------+
|                                         [2]|
+--------------------------------------------+

array_intersect(array1, array2)

描述

  • 返回array1和array2 的元素交集组成的数组。
  • 没有重复元素。

实践

SELECT array_intersect(array(1, 2, 3), array(1, 3, 5));
+-----------------------------------------------+
|array_intersect(array(1, 2, 3), array(1, 3, 5))|
+-----------------------------------------------+
|                                         [1, 3]|
+-----------------------------------------------+

array_join(array, delimiter[, nullReplacement])

描述

  • 用指定的分隔符以及一个可选的用来取代null值的字符串，将数组 array 中所有元素串联起来。
  • 如果 nullReplacement 未设值，则过滤掉所有的null值。

实践

SELECT array_join(array('hello', 'world'), ' ');
+----------------------------------+
|array_join(array(hello, world),  )|
+----------------------------------+
|                       hello world|
+----------------------------------+

SELECT array_join(array('hello', null ,'world'), ' ');
+----------------------------------------+
|array_join(array(hello, NULL, world),  )|
+----------------------------------------+
|                             hello world|
+----------------------------------------+

SELECT array_join(array('hello', null ,'world'), ' ', ',');
+-------------------------------------------+
|array_join(array(hello, NULL, world),  , ,)|
+-------------------------------------------+
|                              hello , world|
+-------------------------------------------+

array_max(array)

描述

  • 返回数组 array 中的最大值。
  • 对于 double/float 类型，NaN大于任何非NaN元素。
  • null 值会被跳过。

实践

SELECT array_max(array(1, 20, null, 3));
+--------------------------------+
|array_max(array(1, 20, NULL, 3))|
+--------------------------------+
|                              20|
+--------------------------------+

array_min(array)

描述

  • 返回数组 array 中的最小值。
  • 对于 double/float 类型，NaN大于任何非NaN元素。
  • null 值会被跳过。

实践

SELECT array_min(array(1, 20, null, 3));
+--------------------------------+
|array_min(array(1, 20, NULL, 3))|
+--------------------------------+
|                               1|
+--------------------------------+

array_position(array, element)

描述

  • 返回 array 中的第一个出现 element 的数组索引。
  • 数组索引从 1 开始。
  • 返回值为 long 类型。

实践

SELECT array_position(array(3, 2, 1), 1);
+---------------------------------+
|array_position(array(3, 2, 1), 1)|
+---------------------------------+
|                                3|
+---------------------------------+

array_remove(array, element)

描述

从 array 中移除等于 element的所有元素。

实践

SELECT array_remove(array(1, 2, 3, null, 3), 3);
+----------------------------------------+
|array_remove(array(1, 2, 3, NULL, 3), 3)|
+----------------------------------------+
|                            [1, 2, null]|
+----------------------------------------+

array_repeat(element, count)

描述

返回元素 element 重复 count 次 的数组。

实践

SELECT array_repeat('123', 2);
+--------------------+
|array_repeat(123, 2)|
+--------------------+
|          [123, 123]|
+--------------------+

array_union(array1, array2)

描述

  • 返回 array1 和 array2 union 之后的数组。
  • 没有重复元素。

实践

SELECT array_union(array(1, 2, 3), array(1, 3, 5));
+-------------------------------------------+
|array_union(array(1, 2, 3), array(1, 3, 5))|
+-------------------------------------------+
|                               [1, 2, 3, 5]|
+-------------------------------------------+

arrays_overlap(a1, a2)

描述

  • 如果 a1 中至少存在一个非空元素 也 存在于 a2 中（即 a1 和 a2 有非空元素重叠），则返回 true。
  • 如果没有重叠的元素，a1 和 a2 都是非空的，并且 a1 或者 a2 包含一个null 值，那么返回 null，否则就返回 false。

实践

SELECT arrays_overlap(array(1, 2, 3), array(3, 4, 5));
+----------------------------------------------+
|arrays_overlap(array(1, 2, 3), array(3, 4, 5))|
+----------------------------------------------+
|                                          true|
+----------------------------------------------+

SELECT arrays_overlap(array(1, 2, 3), array(4, 5, null));
+----------------------------------------------+
|arrays_overlap(array(1, 2, 3), array(3, 4, 5))|
+----------------------------------------------+
|                                          NULL|
+----------------------------------------------+

SELECT arrays_overlap(array(1, 2, 3), array(4, 5));
+----------------------------------------------+
|arrays_overlap(array(1, 2, 3), array(3, 4, 5))|
+----------------------------------------------+
|                                         false|
+----------------------------------------------+

arrays_zip(a1, a2, …)

描述

  • 返回多个结构体合并后的新数组。
  • 下标为 N 的结构包含下标为 N 的所有值。

实践

SELECT arrays_zip(array(1, 2, 3), array(2, 3, 4));
+------------------------------------------+
|arrays_zip(array(1, 2, 3), array(2, 3, 4))|
+------------------------------------------+
|                      [{1, 2}, {2, 3}, ...|
+------------------------------------------+

SELECT arrays_zip(array(1, 2), array(2, 3), array(3, 4));
+-------------------------------------------------+
|arrays_zip(array(1, 2), array(2, 3), array(3, 4))|
+-------------------------------------------------+
|                             [{1, 2, 3}, {2, 3...|
+-------------------------------------------------+

flatten(arrayOfArrays)

描述

将一个二维数组转化成一个一维数组。

实践

SELECT flatten(array(array(1, 2), array(3, 4)));
+----------------------------------------+
|flatten(array(array(1, 2), array(3, 4)))|
+----------------------------------------+
|                            [1, 2, 3, 4]|
+----------------------------------------+

sequence(start, stop, step)

描述

  • 从 start 到 stop 生成一系列元素，逐步递增。闭区间 [start, stop]
  • 返回元素的类型与参数表达式的类型相同。
  • 支持的类型有：byte、short、int、long、date、timestamp。
  • start 和 stop 表达式必须解析为同一类型。
  • 如果 start 和 stop 表达式解析为 date 或 timestamp 类型，则 step 表达式必须解析为 interval 或 year-month interval 或 day-time interval 类型，否则解析为与 start 和 stop 表达式相同的类型。

实践

SELECT sequence(1, 5);
+---------------+
| sequence(1, 5)|
+---------------+
|[1, 2, 3, 4, 5]|
+---------------+

SELECT sequence(5, 1);
+---------------+
| sequence(5, 1)|
+---------------+
|[5, 4, 3, 2, 1]|
+---------------+

SELECT sequence(to_date('2018-01-01'), to_date('2018-03-01'), interval 1 month);
+----------------------------------------------------------------------+
|sequence(to_date(2018-01-01), to_date(2018-03-01), INTERVAL '1' MONTH)|
+----------------------------------------------------------------------+
|                          			 [2018-01-01,2018-02-01,2018-03-01]|
+----------------------------------------------------------------------+

SELECT sequence(to_date('2018-01-01'), to_date('2018-03-01'), interval '0-1' year to month);
+--------------------------------------------------------------------------------+
|sequence(to_date(2018-01-01), to_date(2018-03-01), INTERVAL '0-1' YEAR TO MONTH)|
+--------------------------------------------------------------------------------+
|                                          	   [2018-01-01,2018-02-01,2018-03-01]|
+--------------------------------------------------------------------------------+

shuffle(array)

描述

返回数组中元素随机排列后的新数组。

实践

SELECT shuffle(array(1, 20, 3, 5));
+---------------------------+
|shuffle(array(1, 20, 3, 5))|
+---------------------------+
|              [20, 3, 5, 1]|
+---------------------------+

SELECT shuffle(array(1, 20, null, 3));
+------------------------------+
|shuffle(array(1, 20, NULL, 3))|
+------------------------------+
|              [3, 20, null, 1]|
+------------------------------+

slice(x, start, length)

描述

  • 返回 x 的子集数组
  • 从索引 start 开始，长度为 length
  • 索引下标从 1 开始，如果下标为负数，则代表从末端开始，即 -1 代表数组的最后一个元素。

实践

SELECT slice(array(1, 2, 3, 4), 2, 2);
+------------------------------+
|slice(array(1, 2, 3, 4), 2, 2)|
+------------------------------+
|                        [2, 3]|
+------------------------------+

SELECT slice(array(1, 2, 3, 4), -2, 2);
+-------------------------------+
|slice(array(1, 2, 3, 4), -2, 2)|
+-------------------------------+
|                         [3, 4]|
+-------------------------------+

sort_array(array[, ascendingOrder])

描述

  • 根据数组元素的自然顺序，按升序或降序对输入数组进行排序。
  • 对于 double/float 类型，NaN大于任何非NaN元素。
  • null 元素将按升序放置在返回数组的开头，或按降序放置在返回数组的末尾。

实践

SELECT sort_array(array('b', 'd', null, 'c', 'a'), true);
+-----------------------------------------+
|sort_array(array(b, d, NULL, c, a), true)|
+-----------------------------------------+
|                       [null, a, b, c, d]|
+-----------------------------------------+
Sparksql array相关函数
SunnyRivers
08-06 268
Apache Spark SQL 是 Spark 的一个重要模块，用于处理结构化数据。它提供了 DataFrame 和 Dataset API，使得开发者能够使用 SQL 查询语言（称为 Spark SQL）对数据进行高效的操作。在本文中，我们将介绍 Spark SQL 中所有与array相关的函数。
Spark 源码 | 脚本分析总结
最新发布
主要分享大数据相关的知识，如Spark、Hudi
02-10 1646
最初是想学习一下Spark提交流程的源码，比如 Spark On Yarn 、Standalone。之前只是通过网上总结的文章大概了解整体的提交流程，但是每个文章描述的又不太一样，弄不清楚到底哪个说的准确，比如Client 和 CLuster 模式的区别，Driver到底是干啥的，是如何定义的，为了彻底弄清楚这些疑问，所以决定学习一下相关的源码。因为不管是服务启动还是应用程序启动，都是通过脚本提交的，所以我们先从分析脚本开始。
Spark SQL 中的array类的函数例子
weixin_43323871的博客
05-17 1174
Spark SQL 中的array类的函数例子
SparkSql数组Array常用函数
zwlll19900607的专栏
05-16 2060
说明：将一个数组转换成一个字符串，元素之间用 delimiter 分隔，如果有 null 值则用 nullReplacement 替代,如果没有设置nullReplacement过滤掉说有null值。说明：将一个数组拆分成多行，每行包含一个数组元素。说明：对一个数组进行排序,array_sort升序排序，sort_array可指定升降序，true为升序，false为降序。说明：返回两个数组的交集，即包含在两个数组中的所有元素。说明：将两个数组合并成一个新的数组，不包含重复元素。说明：返回一个数组的长度。
Array Functions
nitaigeilile的博客
04-11 177
1.is_array is_array ( mixed $var ) : bool Finds whether a variable is an array 2.explode explode ( string $delimiter , string $string [, int $limit = PHP_INT_MAX ] ) : array Returns an array of str...
SQL数组常用函数记录(Array版)
weixin_40809627的博客
07-29 1245
（Array）是有序的元素序列，组成数组的各个变量称为数组的元素。数组是在程序设计中，为了处理方便把具有相同类型的若干元素按有序的形式组织起来的一种形式。按数组元素的类型不同，数组又可分为数值数组、字符数组等各种类别。aggregate(array(1, 2, 3), 0, (acc, x) -> acc + x) 数组内元素求和。返回存在于array1，但不存在于array2里的元素列表，元素去重。把数组里的所有元素都按照指定方法处理，返回新的数组。返回某元素重复指定次数组成的数组。
Spark SQL基本使用以及整合Hive
m0_69822077的博客
06-17 1330
​ Spark SQL是一个用于结构化数据处理的Spark组件。所谓结构化数据，是指具有Schema信息的数据，例如JSON、Parquet、Avro、CSV格式的数据。与基础的Spark RDD API不同，Spark SQL提供了对结构化数据的查询和计算接口。将SQL查询与Spark应用程序无缝组合​ Spark SQL允许使用SQL或熟悉的API在Spark程序中查询结构化数据。
Spark：SQL（二）
m0_57498038的博客
07-26 1549
目录 01：上篇回顾 02：课程目标 03：数据源Sink：设计 04：集成Hive：场景及设计 05：集成Hive：SparkShell测试 06：集成Hive：IDEA测试 07：自定义UDF规则 08：自定义UDF测试 09：SparkSQL开发方式 10：SparkSQL开发方式：SQL Shell 11：SparkSQL开发方式：Beeline 12：SparkSQL开发方式：JDBC 13：Catalyst 优化器 14：实时数据计算场景及架构 15：Spark S
Spark【使用篇】06：Spark SQL
weixin_40612128的博客
03-09 2608
DataFrame常见算子操作、DataFrame的sql操作、RDD转换为DataFrame、load和save操作、SaveMode、内置函数
4.分布式计算平台Spark：SQL（一）
kayden888
03-20 239
分布式计算平台Spark：SQL（一） 一、重点 Spark中RDD的常用函数 分区操作函数：mapPartitions、foreachPartition 功能：与map和foreach基本功能一致，这两个函数是对分区进行操作的 应用：对RDD数据处理时，需要构建资源时 重分区函数：repartition、coalesce 功能：调节RDD分区的个数 应用：repartition实现调大、coalesce降低分区个数 聚合函数：reduce/fold/aggregate 分布式聚合
在SQL存储过程中进行参数数组Array Parameter的处理函数
09-29
在SQL存储过程中进行参数数组Array Parameter的处理函数。
spark sql中对array数组类型操作函数列表
liuya19921123的博客
01-20 1695
SparkSQL提供了丰富的array操作函数，可以满足创建、访问、修改、过滤、聚合等多种需求。无论是对数组进行基础操作（如访问元素、排序、去重），还是高级操作（如条件过滤、函数式编程），都可以轻松实现。通过熟练掌握这些函数，开发者可以高效地处理复杂的数组数据。
php sql归类函数,PHPArray函数归类
weixin_28862561的博客
03-09 265
一、 数组操作的基本函数1、数组的键名和值array_values($arr); 获得数组的值array_keys($arr); 获得数组的键名array_flip($arr); 数组中的值与键名互换(如果有重复前面的会被后面的覆盖)in_array("apple",$arr); ...
sql array 数组基本用法(一)
热门推荐
luoganttcc的博客
09-05 2万+
SELECT [1, 2, 3] as numbers; SELECT ["apple", "pear", "orange"] as fruit; SELECT [true, false, true] as booleans; SELECT [a, b, c] FROM (SELECT 5 AS a, 37 AS b, 406 AS c); SELECT [a, b, c] FROM (SELECT CAST(5 AS INT64) AS a,
建立sql数组的一个函数
weixin_34321753的博客
10-17 214
< DOCTYPE html PUBLIC -WCDTD XHTML StrictEN httpwwwworgTRxhtmlDTDxhtml-strictdtd> set ANSI_NULLS ON set QUOTED_IDENTIFIER ON go -- ============================================= -- ...
spark sql 函数 array_except(arr1,arr2)能否确保arr1中原有元素的顺序
yy的博客
04-13 730
spark sql
Spark SQL 内置函数
梁辰兴的博客
06-16 2996
Spark SQL内置了大量的函数，位于API org.apache.spark.sql.functions中。这些函数主要分为10类：UDF函数、聚合函数、日期函数、排序函数、非聚合函数、数学函数、混杂函数、窗口函数、字符串函数、集合函数，大部分函数与Hive中相同。当Spark SQL提供的内置函数不能满足查询需求时，用户可以根据自己的业务编写自定义函数（User Defined Functions，UDF），然后在Spark SQL中调用。
SparkSql数组操作的N种骚气用法
xiaoluobutou的专栏
02-22 3568
总结一下sparksql（基于branch3.3） 中 array操作相关的骚气用法，这恐怕是总结的最全的一篇了，哈哈~~
SparkSQL函数
howard2005的专栏
01-18 730
SparkSQL提供了丰富的内置函数，用于数据处理和分析。这些函数包括字符串操作、日期时间处理、数学计算、聚合函数以及窗口函数等。通过使用这些函数，用户可以高效地进行数据转换、过滤和聚合操作。SparkSQL还支持用户自定义函数（UDF），以满足特定需求。这些函数使得在分布式环境中处理大规模数据变得更加便捷和灵活。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值