Spark的宽窄依赖

已于 2022-09-20 13:23:08 修改
阅读量3.1k 收藏 14
点赞数 3
CC 4.0 BY-SA版权
文章标签： python 机器学习 pandas 分布式 spark
于 2022-09-20 13:18:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Buutoorr/article/details/126947392

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

  • 前言
  • 一、RDD依赖
  • 二、宽窄依赖
    • 1.窄依赖（Narrow Dependency）
    • 2.宽依赖 （Shuffle 依赖） （Wide Dependency）
  • 三、流水线优化
  • 总结

前言

        首先，我们先对Spark的内核调度做个理解。

        Spark的核心是根据RDD来实现的，Spark Scheduler则为Spark核心实现的重要一环，其作用就是任务调度。Spark的任务调度就是如何组织任务去处理RDD中每个分区的数据，根据RDD的依赖关系构建DAG，基于DAG划分Stage，将每个Stage中的任务发到指定节点运行。基于Spark的任务调度原理，可以合理规划资源利用，做到尽可能用最少的资源高效地完成任务计算。

一、RDD依赖

为什么要设计宽窄依赖？

&nb

最低0.47元/天 解锁文章

200万优质内容无限畅学
Buutoorr
关注
浅谈Spark中的宽依赖和窄依赖
一个数据小开发的博客
04-28 2448
1、何为Spark中的宽依赖和窄依赖 1.1、官方源码解释 1.1.1、NarrowDependency（窄依赖） /** * :: DeveloperApi :: * Base class for dependencies where each partition of the child RDD depends on a small number * of partitions of the parent RDD. Narrow dependencies allow for pipelin
Spark宽窄依赖
精益求精
09-13 610
      Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，而划分依据就是RDD之间的依赖关系。针对不同的转换函数，RDD之间的依赖关系分类窄依赖（narrow dependency）和宽依赖（wide dependency, 也称 shuffle dependency）. 宽依赖与窄依赖 窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用，...
Spark 宽窄依赖
weixin_30955341的博客
04-17 412
面试时被问到spark RDD的宽窄依赖，虽然问题很简单，但是答得很不好。还是应该整理一下描述，这样面试才能答得更好。 看到一篇很好的文章，转载过来了。感觉比《spark技术内幕》这本书讲的好多了。 原文链接：https://www.jianshu.com/p/5c2301dfa360 1.窄依赖 窄依赖就是指父RDD的每个分区只被一个子RDD分区使用，子RDD分区通常只对应常数个父RDD...
Spark宽依赖和窄依赖深度剖析
u012501054的博客
08-09 746
宽依赖和窄依赖深度剖析.png RDD依赖关系与stage划分 Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，而划分依据就是RDD之间的依赖关系。 1. 窄依赖与宽依赖 针对不同的转换函数，RDD之间的依赖关系分为窄依赖（narrow dependency）和宽依赖（wide dependency，也成shuffle dependency...
spark的宽依赖，窄依赖
山水青一人尤
12-13 880
在 Apache Spark 中，依赖关系是指 RDD（弹性分布式数据集）之间的关系。依赖关系的类型对于理解 Spark 的任务调度、分区和故障恢复等方面至关重要。Spark 中主要有两种类型的依赖关系：窄依赖（Narrow Dependency）和宽依赖（Wide Dependency）。
spark-宽窄依赖
DCHAO的博客
10-20 3114
这是rdd论文中的图，可见，宽窄依赖划分的依据并不是是否产生了网络io，而是一个分区的数据是否发生了拆分，注意，是拆分，合并不算
Spark中的宽窄依赖
qq_58242165的博客
11-06 317
2.1窄依赖:父RDD的一个分区的数据只给了子RDD的一个分区 【不用经过Shuffle一对一或者多对一不经过Shuffle，性能相对较快， 但无法实现全局分区、排序、分组等一个Stage内部的计算都是窄依赖的过程，全部在内存中 完成。2.2宽依赖:父RDD的一个分区的数据给了子RDD的多个分区【需要调用Shuffle的分区器来实现】一对多，必须经过Shuffle，性能相对较慢，可以实现全 局分区、排序、分组等Spark的job中按照宽依赖来划分Stage。
spark中的宽窄依赖
qq_41634872的博客
04-27 303
NarrowDependency： Base class for dependencies where each partition of the child RDD depends on a small number of partitions of the parent RDD. Narrow dependencies allow for pipelined execution. ...
Spark --【宽依赖和窄依赖】
weixin_33717117的博客
05-05 181
前言 Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，暴力的理解就是stage的划分是按照有没有涉及到shuffle来划分的，没涉及的shuffle的都划分在一个stage里面，这种划分依据就是RDD之间的依赖关系。针对不同的转换函数，RDD之间的依赖关系分类窄依赖（narrow dependency）和宽依赖（wide dependency, ...
窄依赖和宽依赖
qq_20174285的博客
01-08 222
RDD之间有一系列的依赖关系，依赖关系又分为窄依赖和宽依赖。 窄依赖 父RDD和子RDD partition之间的关系是一对一的。或者父RDD一个partition只对应一个子RDD的partition情况下的父RDD和子RDD partition关系是多对一的。不会有shuffle的产生。 宽依赖 父RDD与子RDD partition之间的关系是一对多。会有shuffle的产生。 宽窄依赖图理...
Spark中的宽依赖和窄依赖
微信公众号：一颗向上的草莓
05-04 643
Spark中RDD的高效与DAG（有向无环图）图有着莫大的关系， 在DAG调度中需要对计算过程划分Stage， 而划分的依据就是就是RDD之间的依赖关系。 针对不同的转换函数，RDD之间的依赖关系分为窄依赖（narrow dependency） 和宽依赖（Wide Depencency，也称为Shuffle Depencency）。 窄依赖： 指父RDD的每个分区只被子RDD的一个分区...
Spark 的宽依赖和窄依赖
龙大的博客
01-24 1226
Apache Spark 中的依赖关系指的是转换操作（transformations）之间的依赖类型。这些依赖关系决定了任务是如何在集群上分布执行的。依赖关系分为两类：宽依赖（Wide Dependency）和窄依赖（Narrow Dependency）。窄依赖指的是每个父分区最多被一个子分区使用，这意味着子分区的计算只依赖于父RDD的一个分区。因此，在窄依赖中，每个父RDD的分区只需要发送到一个子RDD的分区。
Spark宽窄依赖详解
modefrog的博客
03-16 2万+
1.宽窄依赖 图中左边是宽依赖，父RDD的4号分区数据划分到子RDD的多个分区（一分区对多分区），这就表明有shuffle过程，父分区数据经过shuffle过程的hash分区器（也可自定义分区器）划分到子RDD。例如GroupByKey，reduceByKey，join，sortByKey等操作。图右边是窄依赖，父RDD的每个分区的数据直接到子RDD的对应一个分区（一分区对一分区），例如1号到5号...
spark 宽窄依赖
WangzhenBeyond的博客
08-18 297
RDD 依赖关系，其实就是两个相邻 RDD 之间的关系 RDD 窄依赖 窄依赖表示每一个父(上游)RDD 的 Partition 最多被子(下游)RDD 的一个 Partition 使用， 窄依赖oneToone val fileRDD: RDD[String] = sc.textFile("input/1.txt") println(fileRDD.dependencies) final def dependencies: Seq[Dependency[_]] = { chec
每次进步一点点——Spark 中的宽依赖和窄依赖
热门推荐
housir的专栏
09-13 3万+
Spark中RDD的高效与DAG图有着莫大的关系，在DAG调度中需要对计算过程划分stage，而划分依据就是RDD之间的依赖关系。针对不同的转换函数，RDD之间的依赖关系分类窄依赖（narrow dependency）和宽依赖（wide dependency, 也称 shuffle dependency）.宽依赖与窄依赖 窄依赖是指父RDD的每个分区只被子RDD的一个分区所使用，子RDD分区通常对应
spark宽窄依赖
最新发布
04-24
### Spark 中宽依赖与窄依赖的概念及区别 #### 窄依赖 (Narrow Dependency) 窄依赖是指子 RDD 的每个分区最多依赖于父 RDD 的一个分区。这意味着数据可以在不需要 shuffle 的情况下直接从父 RDD 转移到子 RDD。由于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值