超级会员免费看
本文详细介绍了Spark SQL的主要特点，包括无缝结合SQL查询、连接多种数据源和在现有数据仓库上运行SQL查询。重点讲解了DataFrame和Dataset的概念，如何从RDD转换为DataFrame和Dataset，并展示了在Spark SQL中操作DataFrame和Dataset的各种方法，包括投影、过滤、统计、排序等操作，以及如何将数据集转换为数据帧进行SQL查询。文章还提供了基于DataFrame的SQL查询示例和课后作业，帮助读者巩固理解。
文章目录
零、本讲学习目标
- 了解Spark SQL的基本概念
- 掌握DataFrame的基本概念
- 掌握Dataset的基本概念
- 会基于DataFrame执行SQL查询
一、Spark SQL
（一）Spark SQL概述
- Spark SQL是一个用于结构化数据处理的Spark组件。所谓结构化数据，是指具有Schema信息的数据，例如
JSON、Parquet、Avro、CSV格式的数据。与基础的Spark RDD API不同，Spark SQL提供了对结构化数据的查询和计算接口。
（二）Spark SQL主要特点
1、将SQL查询与Spark应用程序无缝组合
- Spark SQL允许使用SQL或熟悉的DataFrame API在Spark程序中查询结构化数据。与Hive不同的是，Hive是将SQL翻译成MapReduce作业，底层是基于MapReduce的；而Spark SQL底层使用的是Spark RDD。
- 在Spark应用程序中嵌入SQ
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
