Spark实战(2) DataFrame基础之创建DataFrame

ZenGeek

于 2018-10-31 18:15:22 发布

阅读量870

点赞数

CC 4.0 BY-SA版权

分类专栏： Spark 文章标签： Spark

这篇博客介绍了如何在Spark中使用DataFrame，指出相比于RDD，DataFrame提供了更简便的操作方式。主要内容包括DataFrame的创建，特别是如何指定Schema来创建DataFrame。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

之前，RDD语法占主导，但是比较难用难学.
现在，有了DataFrame，更容易操作和使用spark.

创建DataFrame

from pyspark.sql import SparkSession
# 新建一个session
spark = SparkSession.builder.appName('Basics').getOrCreate()
# 导入数据
df = spark.read