介绍一下Yarn的Job提交流程

最新推荐文章于 2022-10-06 16:25:55 发布

星空下的那个人影

最新推荐文章于 2022-10-06 16:25:55 发布

阅读量353

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据面试 hadoop 文章标签： hadoop

本文链接：https://blog.csdn.net/sb_jb/article/details/124705697

大数据面试同时被 2 个专栏收录

87 篇文章

订阅专栏

hadoop

15 篇文章

订阅专栏

本文详细介绍了YARN（Yet Another Resource Negotiator）的工作流程，包括客户端提交应用程序、ResourceManager分配Container、ApplicationMaster的注册与心跳、Container的申请与初始化、NodeManager启动Container以及ApplicationMaster的监控和注销过程。整个流程阐述了资源管理和任务调度的关键步骤。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在这里插入图片描述

client 向 RM 提交应用程序，其中包括该应用的 ApplicationMaster 的必须信息，例如 ApplicationMaster 程序、启动 ApplicationMaster 的命令、用户程序等；
ResourceManager 启动一个 container 用于运行 ApplicationMaster；
启动中的 ApplicationMaster 向 ResourceManager 注册自己，启动成功后与 ResourceManager 保持心跳；
ApplicationMaster 向 ResourceManager 发送请求，申请相应数量的 container；
申请成功的 container ，由 ApplicationMaster 进行初始化。container 的启动信息初始化后， ApplicationMaster 与对应的 NodeManager 通信，要求 NodeManager 启动 container；
NodeManager 启动 container；
container 运行期间，ApplicationMaster 对 container 进行监控。container 通过 RPC 协议向对应的 ApplicationMaster 汇报自己的进度和状态等信息；
应用运行结束后，ApplicationMaster 向 ResourceManager 注销自己，并允许属于它的 container 被收回。