Spark ML基本算法【总结器】

最新推荐文章于 2025-05-17 21:23:34 发布

原创

最新推荐文章于 2025-05-17 21:23:34 发布 · 3.2k 阅读

4 ·

CC 4.0 BY-SA版权

文章标签：

#spark

该博客介绍了Spark MLlib中的Summarizer库，用于计算向量和矩阵的统计摘要。内容包括如何计算均值、方差等统计指标，并通过代码实战展示了这些操作，最后分析了执行结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一.简介

通过使用Summarizer提供矢量列【向量、矩阵】汇总统计Dataframe。可用的指标是按列的最大值，最小值，平均值，总和，方差，std和非零数，以及总数。

二.代码实战【以均值、方差为例】

package spark2.ml

import org.apache.log4j.{
   
   Level, Logger}
import org.apache.spark.ml.linalg.{
   
   Vector, Vectors}
import org.apache.spark.sql.SparkSession
import org.apache.spark.ml.stat.Summarizer._
/**
 * Created by Administrator on 2020/7/3.
  */
object MLSummary {
   
   
  /**
    * 设置日志级别
    */
  Logger.getLogger(