本文介绍了Hadoop集群中的主要进程，包括ResourceManager、NameNode、DataNode、NodeManager等。重点讲解了作业提交过程，从RunJar的初始化，到MRAppMaster的资源申请，再到YarnChild执行map/reduce任务，最后详细阐述了作业的退出流程。通过理解这一流程，有助于深入理解Hadoop的作业管理机制。
1、hadoop集群中主要进程有
master: ResourceManager NameNode
slaves: DataNode，NodeManager，RunJar，MRAppMaster，YarnChild
1) 其中 RunJar(提交器)，MRAppMaster，YarnChild与随着某个job的创建而创建，随着job的完成而终止。
它们的作用分别是：
RunJar：完成job的初始化，包括获取jobID，将jar包上传至hdfs等。
MRAppMaster：每个job一个进程，主要跟踪job的运行情况，向RM申请资源等。
YarnChild：运行具体的map/reduce task。
2) job启动过程：
ResourceManage，NodeManager->RunJar->MRAppMaster->YarnChild
3) job退出过程：
YarnChild->MRAppMaster->RunJar
即所有的map/reduce均完成后，MRAppMaster才退出，最后RunJar退出，job完成。
Job提交主流程
MRAPPMaster具体流程
扫一扫
1128
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
