RDD案例——数据清洗

最新推荐文章于 2025-08-11 22:21:14 发布

直裾

最新推荐文章于 2025-08-11 22:21:14 发布

阅读量328

点赞数 6

CC 4.0 BY-SA版权

文章标签： intellij-idea

本文链接：https://blog.csdn.net/GZM1314YMX/article/details/147829655

package org.example

import org.apache.spark.{SparkConf, SparkContext}

object DataFilter {
  def main(args: Array[String]): Unit = {
    val conf  = new SparkConf().setAppName("DataFilter").setMaster("local[*]")
    val sc = new SparkContext(conf)

    val rdd  = sc.textFile("data/file.txt")

    var rdd1 = rdd.filter(line => {
      val age = line.split(",")(1)
      println(age)
      age.matches("\\d+")
    })

    //将所有的分区的数据合并成一个分区
    rdd1 = rdd1.coalesce(1)
    //保存到文件
    rdd1.saveAsTextFile("output")

  }
}

运行结果会生成txt文件。文件名字为output