RDD、DataFrame、Dataset相互转化

最新推荐文章于 2024-11-28 11:54:12 发布

「已注销」

最新推荐文章于 2024-11-28 11:54:12 发布

阅读量609

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.csdn.net/weixin_43777983/article/details/104836851

本文详细介绍如何使用SparkSession初始化Spark任务，从读取本地文件到转换为DataFrame和Dataset的过程。包括通过case class创建DataFrame，利用StructType定义schema创建DataFrame，以及DataFrame与Dataset之间的相互转换。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

初始化SparkSession，底层初始化sparkContext，相当于Spark任务的入口。

	val sparkSession = SparkSession.builder().appName("sparktest").master("local[2]").getOrCreate()
    val sparkContext = sparkSession.sparkContext
    val log = sparkContext.textFile("/Users/mike/Desktop/test.txt")

RDD -> DataFrame

：case class

case class Person(name:String,age:Int)

//转化为RDD[Person]
val rowRDD = log.map(_.split(" ")).map(x => Person(x(0),x(1).toInt))
import sparkSession.implicits._
val df = rowRDD.toDF()
df.show()
sparkSession.stop()

schema(StructType的方式)

val schemaFiled = "name,age"
val schemaString = schemaFiled.split(",")
val schema = StructType(
	Array(
        StructField(schemaString(0), StringType, nullable = true),
        StructField(schemaString(1), IntegerType, nullable = true)
      )
)
//生成RDD[Row]
val rowRDD = log.map(_.split(" ")).map(x => Row(x(0), x(1).toInt))
//格式和RDD 构造DataFrame
val df = sparkSession.createDataFrame(rowRDD, schema)
df.show()
sparkSession.stop()