超级会员免费看
RDD（Resilient Distributed Dataset）是Spark中的基本数据抽象，表示不可变、可分区、支持并行计算的数据集。RDD具有弹性、分布式、只读和可分区等特点，支持转化和行动操作。RDD的血缘关系和缓存机制提供了容错能力，使得Spark能高效处理数据。RDD通过转换操作形成有向无环图（DAG），并在行动操作时进行计算。RDD的分区、依赖、缓存和检查点是其关键特性。
对于大量的数据，Spark 在内部保存计算的时候，都是用一种叫做弹性分布式数据集（Resilient Distributed Datasets，RDD）的数据结构来保存的，所有的运算以及操作都建立在 RDD 数据结构的基础之上。
在Spark开山之作Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing这篇paper中（以下简称 RDD Paper），Matei等人提出了RDD这种数据结构，文中开头对RDD的定义是：
也就是说RDD设计的核心点为：
RDD提供了一个抽象的数据模型，不必担心底层数据的分布式特性，只需将具体的应用逻辑表达为一系列
订阅专栏 解锁全文
扫一扫
10-18
604
604
02-22
768
768
10-22
3329
3329
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
