Spark基础学习笔记16：创建RDD

已于 2022-05-17 10:06:47 修改
阅读量2.5k 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Spark基础学习笔记（2） 文章标签： spark RDD
于 2022-03-11 14:54:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/howard2005/article/details/123416715
这篇博客详细介绍了Spark中的Resilient Distributed Datasets (RDD)。RDD是一种分布式、不可变、可分区的数据集，支持高效容错。内容包括RDD的概念、特性，如何从对象集合和外部存储创建RDD，以及通过Spark Shell进行实践操作。此外，还提到了从本地文件系统和HDFS读取数据创建RDD的方法，并提供了课堂练习——为输出数据添加行号。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

零、本讲学习目标

  1. 了解RDD的概念
  2. 掌握RDD的创建方式

一、RDD为何物

（一）RDD概念

  • Spark提供了一种对数据的核心抽象，称为弹性分布式数据集（Resilient Distributed Dataset，RDD）。这个数据集的全部或部分可以缓存在内存中，并且可以在多次计算时重用。RDD其实就是一个分布在多个节点上的数据集合。
  • RDD的弹性主要是指当内存不够时，数据可以持久化到磁盘，并且RDD具有高效的容错能力。
  • 分布式数据集是指一个数据集存储在不同的节点上，每个节点存储数据集的一部分。

（二）RDD示例

  • 将数据集（hello,world,scala,spark,love,spark, happy）存储在三个节点上，节点一存储（hello,world），节点二存储（scala,spark,love），节点三存储（spark,happy），这样对三个节点的数据可以并行计算，并且三个
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Spark基础学习笔记20：RDD持久化、存储级别与缓存
howard2005的专栏
04-11 2050
持久化、存储级别、查看缓存
Spark基础学习笔记14：掌握RDD算子
qq_56244269的博客
06-13 626
目录一、RDD算子二、准备工作（一）准备文件1、准备本地系统文件2、把文件上传到HDFS（二）启动Spark Shell1、启动HDFS服务2、启动Spark服务3、启动Spark Shell三、转化算子（一）映射算子 - map()1、映射算子功能2、映射算子案例（二）过滤算子 - filter()1、过滤算子功能2、过滤算子案例（三）扁平映射算子 - flatMap()1、扁平映射算子功能、扁平映射算子案例（四）按键归约算子 - reduceByKey()1、按键归约算子功能2、按键归约算子案例
RDD的创建方式
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-01 2480
大数据实验教学系统RDD的创建方式在调用任何transformation或action操作之前，必须先要有一个RDD。Spark提供了创建RDDs的三种方法。一种方法是将现有的集合并行化。另一种方法是加载外部存储系统中的数据集，比如文件系统。第三种方法是在现有RDD上进行转换来得到新的RDD。     使用程序中的集合创建RDD，主要用于进行测试，可以在实际部署到集群运行之前，自己使用集合构造测试数据，来测试后面的spark应用的流程。   使用HDFS文件创建RDD，应该是最常用的生产环境处理方式，主要可
RDD的创建
feizuiku0116的博客
11-15 1021
一、两种方式 并行化本地集合(Driver Program) 引用加载外部存储系统(HDFS、Hive、HBase、Kafka、Elasticsearch)等数据集 二、并行化方式创建RDD 调用SparkContext的parallelize方法并且传入已有的可迭代对象或者集合 data = [1, 2, 3, 4, 5] distData = sc.parallelize(data) 再通过parallelize方法创建RDD的时候可以指定分区数量 distData = sc.
Spark基础学习笔记：创建RDD
py20010218的博客
06-19 513
Spark基础学习笔记：创建RDD
Spark RDD的创建
梁辰兴的博客
06-05 1609
将数据集（hello, world, scala, spark, love, spark, happy）存储在三个节点上，节点一存储（hello, world），节点二存储（scala, spark, love），节点三存储（spark, happy），这样对三个节点的数据可以并行计算，并且三个节点的数据共同组成了一个RDD。在编程时，可以把RDD看作是一个数据操作的基本单位，而不必关心数据的分布式特性，Spark会自动将RDD的数据分发到集群的各个节点。不同的是，数据的来源路径不同。
Spark基础学习笔记13：创建RDD
qq_56244269的博客
06-13 390
目录一、RDD为何物（一）RDD概念（二）RDD示例（三）RDD主要特征二、做好准备工作（一）准备文件1、准备本地系统文件2、启动HDFS服务3、上传文件到HDFS（二）启动Spark Shell1、启动Spark服务2、启动Spark Shell三、创建RDD（一）从对象集合创建RDD1、利用parallelize()方法创建RDD2、利用makeRDD()方法创建RDD3、简单说明（二）从外部存储创建RDD1、读取本地系统文件Spark提供了一种对数据的核心抽象，称为弹性分布式数据集（Resilient
Spark学习笔记10:创建RDD
balabalalibala的博客
05-17 1766
目录 一、什么是RDD （一）RDD概念 （二）RDD示例 （三）RDD主要特征 二、做好准备工作 （一）准备文件 1、准备本地系统文件 2、启动HDFS服务 3、准备HDFS系统文件 （二）启动SparkShell 1、启动Spark服务 2、启动Spark Shell 三、创建RDD （一）从对象集合创建RDD 1、利用parallelize()方法创建RDD 2、利用makeRDD()方法创建RDD 3、总结说明 （二）从外部存储创建RDD 1、读取......
RDD创建
烙痕丷的博客
08-08 307
RDD详解：https://blog.csdn.net/u013850277/article/details/73648742RDD创建方式一： Parallelized collections are created by calling SparkContext’s parallelize method on an existing collection in your driver prog...
【创建RDD】
LZB_XM的博客
06-20 930
在目录里创建 单词用空格分隔 将上传到HDFS的目录里 查看文件内容 可以参考《sc.textFile()默认读取本地系统文件还是HDFS系统文件？》如果以 方式启动spark-shell，只能读取HDFS系统上的文件，不能读取本地系统文件，而以方式启动spark-shell，既可以读取本地系统文件，加不加都可以，还可以访问HDFS系统上的文件，但是必须加上。执行命令： 查看Spark Shell的WebUI界面, 执行命令： 执行命令：，收集rdd数据进行显示 其实，行动算子[action operat
#生产实习
最新发布
m0_66148926的博客
06-16 305
​ reduceByKey()算子的作用对象是元素为(key,value)形式（Scala元组）的RDD，使用该算子可以将key相同的元素聚集到一起，最终把所有key相同的元素合并成一个元素。​ rightOuterJoin()算子的使用方法与leftOuterJoin()算子相反，其与数据库的右外连接类似，以右边的RDD为基准（例如rdd1.rightOuterJoin(rdd2)，以rdd2为基准），右边RDD的记录一定会存在。Spark会将RDD中的每个元素传入该函数的参数中。
创建RDD
SunnyRivers
03-31 337
创建RDD的两种方式：1. 读取稳定物理存储（eg:HDFS）外部数据集2. 在驱动程序中对一个集合进行并行化（也就是其它已有的RDD上执行确定性操作，这些确定性操作称作转换(Transformation)） 方法一：创建 RDD 最简单的方式就是把程序中一个已有的集合传给 SparkContext 的 parallelize()方法，这种方式在学习 Spark 时非常有用，它让你可以在 shel...
创建RDD方式
念念的博客,记录学习的点点滴滴！
10-02 548
I ： 通过外部的存储系统创建RDD，如本地文件，hdfs等 scala> val a = sc.textFile("/root.text.txt") a: org.apache.spark.rdd.RDD[String] = /root.text.txt MapPartitionsRDD[22] at textFile at <console>:24 scala> va...
RDD的几种创建方式
hellozhxy的博客
08-20 6128
RDD简介 RDD是Spark的核心抽象，全称为Resillient Distributed Dataset，即弹性分布式数据集 RDD在抽象上来说是一种元素集合，包含了数据。它是被分区的，分为多个分区，每个分区分布在集群中的不同节点上(分区即partition)，从而让RDD中的数据可以被并行操作。(分布式的特性) RDD通常通过Hadoop上的文件，即HDFS文件，来进行创建；有时也可以...
Spark学习笔记：RDD和共享变量介绍
本文将围绕Spark的几个关键点展开介绍，包括Spark的简介、RDD（弹性分布式数据集）和共享变量的使用。 首先，让我们来了解一下Spark的简介。每个Spark应用程序都包含一个驱动程序，该程序运行用户的主要功能并在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

酒城译痴无心剑

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值