YARN的Job任务提交流程和任务调度

最新推荐文章于 2025-05-18 19:56:50 发布
原创 最新推荐文章于 2025-05-18 19:56:50 发布 · 629 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #大数据

本文介绍了YARN在Hadoop中的角色，详细解析了job任务从客户端提交到ResourceManager，再到NodeManager的执行流程，包括AppMaster的启动、资源申请、container的执行等步骤。同时，讨论了三种任务调度算法：FIFO Scheduler、Capacity Scheduler和Fair Scheduler，分析了它们的特点和适用场景。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在Hadoop体系中，YARN的主要作用是资源管理和任务调度，其主要组合包括ResourceManager和NodeManager，下面来聊聊它的job任务提交流程和任务调度算法。

  • job任务提交流程
    job任务的提交流程如下图：
    在这里插入图片描述
    1 客户端向ResourceManager提交任务，ResourceManager会根据权限和当前集群的负载情况执行Job任务
    2 ResourceManager就会启动ApplicationManager来启动AppMaster，一个AppMaster对应一个Job任务
    3 AppMaster启动完成后，就会向ApplicationManager注册一个AppMaster
    4 接着AppMaster会向ResourceSchedule申请所需要的资源
    5 ResourceSchedule就会以container为列表返回资源（container）封装的是cpu、内存等资源，container是执行Task的最小单位
    6 AppMaster拿到资源后，就会去对应的机器上启动container来执行job任务
    7 container启动完成后，就开始启动MapTask和ReduceTask来执行任务
    8 container定期向AppMaster汇报执行情况
    9 AppMaster也会定期向ApplicationManager汇报执行情况
    10 当任务执行完成后，就会把结果返回给客户端

  • 任务调度算法

    • FIFO Scheduler(First In First Out)
      这种调度算法也成为了队列调度算法，就是先来的任务先执行。但它并不适用于共享 集群。大的任务可能会占用所有集群资源，这就导致其它任务被阻塞。

    • Capacity Scheduler

最低0.47元/天 解锁文章

200万优质内容无限畅学
大数据学习之路24-从windows平台提交job到yarn上运行
爱米酱的博客
08-18 634
借用上一篇json解析的案例，我们来实现从windows平台提交job到yarn上运行。 1.在与yarn交互的代码中我们首先要添加下面的代码： //不设置这个默认在本地运行 conf.set("fs.defaultFS","hdfs://marshal:9000"); conf.set("mapreduce.framework.name","yarn"); conf.set("yarn.r...
Flink在yarn模式下任务提交流程
机器之心
09-11 279
集群生命周期：Flink应用程序集群是一个专用的Flink集群，仅执行来自一个Flink应用程序的作业，而main()方法在集群上运行而不是客户端上运行。一旦作业完成，Flink作业集群将被关闭。JobManager具有与协调Flink应用程序的分布式执行相关的多项职责：它决定何时安排下一个任务（或一组任务），对已完成的任务或执行失败作出反应，协调检查点，并在故障时协调恢复，等等。Flink应用程序的作业可以提交到长时间运行的Flink会话集群、专用的Flink作业集群（已弃用）或Flink应用程序集群。
YARN的job提交过程
一入大数据深似海?别怕!“数据极客圈”就是你的救生圈，走对圈子跟对人，趣析数据、畅聊趋势，快进圈子!
07-19 712
YARN的job提交过程job提交过程示意图job提交过程详解1.作业提交2.作业初始化3.任务分配4.任务运行5.进度和状态更新6.作业完成 job提交过程示意图 job提交过程详解 1.作业提交 （1）Client调用job.waitForCompletion方法，向整个集群提交MapReduce作业。 （2）Client向RM申请一个作业id。 （3）RM给Client返回该job资源的提交路径和作业id。 （4）Client提交jar包、切片信息和配置文件到指定的资源提交路径。 （5）Client
Yarn的调度流程
最新发布
2401_83310566的博客
05-18 319
resourcemanager 负责整个集群的资源管理和分配，是一个全局的资源管理系统，一个集群只有一个。ApplicationMaster启动后，会向ResourceManager注册，并请求必要的资源。任务完成后，ApplicationMaster会向ResourceManager注销并关闭自己。ResourceManager根据调度策略分配资源给ApplicationMaster。所谓的调度器指的是当集群繁忙的时候 如何给申请资源的程序分配资源。主角色 resourcemanager RM。
yarn的job提交流程
xinneya的博客
11-03 501
1.在WCRunner.java中以下代码处打断点，进入waitForCompletion 2.waitForCompletion在Job.class中 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. ...
yarn 的 job 提交过程
u013111855的博客
01-07 355
yarn 的 job 提交过程各个角色作用： 各个角色作用： resourcemanager的作用 resourcemanager 1)接受客户端的请求 job提交 2）接受mrappmaster的请求 3）进行资源分配和调度 4）接受nodemanager 心跳 5）监控nodemanager 资源使用状况 nodemanager的作用 nodemanager： 1）接受reso...
Yarn的基础介绍以及job的提交流程
weixin_34290631的博客
01-13 330
1.YARN的基础理论 1）关于YARN的介绍：    YARN 是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序。 2）hadoop1.x中YARN的不足：    - JobTracker是集群的事务的集中处理，存在单点故障   - JobTracker需要完成得任务太多，既要维护job的...
Yarn调度流程
m0_57697768的博客
07-08 1080
目前，Hadoop作业调度器主要有三种：FIFO、容量（Capacity Scheduler）和公平（Fair Scheduler）。Apache Hadoop3.1.3默认的资源调度器是Capacity Scheduler。先进先出不能体现任务的优先级，一些需要立即执行的任务仍需要等待前边的任务执行完才能执行。FIFO调度器（First In First Out）：单队列，根据提交作业的先后顺序，先来先服务。Capacity Scheduler是Yahoo开发的多用户调度器。容器调度器资源分配算法。
flink yarn-perjob任务提交流程
m0_46449152的博客
02-10 2304
1、由脚本bin/flink 进入org.apache.flink.client.cli.CliFrontend CliFrontend main -> cli.parseAndRun -> run -> executeProgram -> ClientUtils.executeProgram -> program.invokeInteractiveModeForExecution() -> callMainMethod -> mainMethod.invoke
Flink中三种模式：YARN Session 模式、YARN Per-Job 模式和 YARN Application 模式提交任务命令
JustinMars的博客
07-30 924
在 Apache Flink 中，YARN 提供了多种模式来提交和管理作业，每种模式都有其独特的特点和适用场景。主要有以下三种模式：YARN Session 模式、YARN Per-Job 模式和 YARN Application 模式。
介绍一下Yarn的Job提交流程
星空下的那个人影
05-11 353
client 向 RM 提交应用程序，其中包括该应用的 ApplicationMaster 的必须信息，例如 ApplicationMaster 程序、启动 ApplicationMaster 的命令、用户程序等； ResourceManager 启动一个 container 用于运行 ApplicationMaster； 启动中的 ApplicationMaster 向 ResourceManager 注册自己，启动成功后与 ResourceManager 保持心跳； ApplicationMaste..
Yarn提交Job的流程
dontlikerabbit的博客
12-07 544
1.作业提交 （1）client 调用 job.waitForCompletion 方法，向整个集群提交 MapReduce作业。 （2）client 向 ResourceManager 申请一个作业 Id。 （3）ResourceManager 给 Client 返回该 job 资源的提交路径（HDFS 路径）和作业 Id，每一个作业都有一个唯一的 Id。 （4）Client 发送 jar 包、切片信息和配置文件到指定的资源提交路径。 （5）Client 提交完资源后，向 ResourceManage..
YARN提交Job流程
u013998466的博客
05-15 338
YARN组件 YARN工作流程
job的提交流程
qq_39519419的博客
05-27 512
hadoop jar jar包 类名 参数 1、客户端向rm提交任务 2、rm生成jobId和path，并返回客户端 3、客户端上传资源，并返回上传成功的结果给rm 4、rm将job任务放入调度队列 5、rm分配一个资源，用来启动appMaster 6、nodemanager从hdfs上拉取资源到本地 7、nodemanager拉取完资源后，向客户端发送申请执行语句的命令 8、客户端将启动命令返回...
Job提交过程
lv_hulk的博客
02-17 748
Job提交过程 1.客户端向resourceManager提交job运行请求。 2.resourceManager进行检查，没有问题向客户端返回一个共享资源路径和一个jobId. 3.客户端将共享资源放在共享资源路径下 4.客户端向resourceManager进行反馈共享资源放置完毕，进行job的真正提交 5.resourceManager为这个job分配一个节点，并在这个节点上启动MRapp...
基于YARN进行提交任务
xys2333的博客
01-29 263
本文主要讲述基于YARN进行提交任务 一、Flink On YARN概念理解 Flink On YARN有两种模式： Session Per-Job （1）Session模式中多了一个JobManager共享YarnResourceManager和Dispatcher,在这种模式下，需要先向Yarn申请资源，初始化一个常驻服务在Yarn上。 （2）Per-Job则相反，他是JobManager独享YARNResourceManager 和Dispatcher,也就是提交一个Job都会新建.
Yarn 案例实操
song_quan_的博客
10-27 308
Yarn 生产环境核心参数配置案例 1）需求：从 1G 数据中，统计每个单词出现次数。服务器 3 台，每台配置 4G 内存，4 核 CPU，4 线程。 2）需求分析： 1G / 128m = 8 个 MapTask；1 个 ReduceTask；1 个 mrAppMaster 平均每个节点运行 10 个 / 3 台 ≈ 3 个任务（4 3 3） 3）修改 yarn-site.xml 配置参数如下： 4）分发配置。 注意：如果集群的硬件资源不一致，要每...
java远程提交yarn到集群_Java远程提交YARN MapReduce任务
weixin_42138788的博客
02-17 372
YARN是可以通过Java程序向hadoop集群提交MapReduce任务的。与普通的任务不同的是，远程提交的Job由于读不到服务器上的mapred-site.xml和yarn-site.xml。这样在本地eclipse中运行的程序是以yarn模式(而不是以local模式运行)运行，可在yarn的监控界面监控到任务的运行状态；package org.apache.hadoop.examples;i...
怎么配置yarn的任务使用资源和内存
03-17
在YARN环境中，合理配置任务资源和内存对于提升集群性能至关重要。以下是几个关键参数及其作用： 1. **yarn.nodemanager.resource.memory-mb** 这一参数用于设定NodeManager可用的总物理内存大小（单位为MB），...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值