解决Spark窗口统计函数rank()、row_number()、percent_rank()的OOM问题

最新推荐文章于 2024-04-14 20:12:48 发布

英国老鼠_

最新推荐文章于 2024-04-14 20:12:48 发布

阅读量5k

点赞数 2

分类专栏：大数据Spark/SQL/MR 文章标签： spark percent_rank row_number

本文链接：https://blog.csdn.net/hwj_wayne/article/details/104070241

版权

本文介绍了Spark窗口函数如rank(), row_number(), percent_rank()在处理大数据时可能导致的OOM问题，并提供了三种解决方法：通过SQL处理，转换为rdd进行排序，以及数据量过多时的分组随机打散策略，以实现近似排序。" 135749080,10856630,Qt5.9在Linux上的完整安装教程,"['Qt', 'Linux', '开发环境', '软件安装', 'C++']

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

解决方法3：将数据量过多的分组进行随机打散，从而近似排序

1. 窗口函数功能介绍

在利用Spark SQL按分组统计每个组内topN，或者相对某个指标归一化到[0,1]区间上时，可以使用spark的窗口函数：
(1)   rank: 分数相同的行，排序编号也一致。当有2行数据排序并列第一时，它们的编号都是1，排第三的编号是3
(2)   dense_rank：分数相同的行，排序编号也一致。当有2行数据排序并列第一时，它们的编号都是1，排第三的编号是2
(3)   row_number: 每一行的编号唯一，当有2行数据相同时，随机分配编号
(4)   percent_rank：结果可以视作为rank()的结果，除以最大的编号

一个简单的例子

package high_quality._history

import org.apache.spark.sql._
import org.apache.spark.sql.functions._
import org.apache.spark.sql.expressions.Window

object test {

  def main(args: Array[String]) {

    val spark = SparkSession.builder().master("local[2]").appName("test").config("spark.hadoop.validateOutputSpecs", "false").getOrCreate()
    import spark.implicits._

    Seq("22", "27", "37", "47", "57")
      .toDF("x1")
      .withColumn("x2", percent_rank().over(Window.orderBy($"x1"))).show()
  }
}

结果为：