【深入浅出flink】第2篇：肝了一个小时的图，完虐flink运行时的四大核心组件和运行流程_flink的核心组件,如作业管理器、任务管理器、检查点协调器-CSDN博客

本文链接：https://blog.csdn.net/qq_37555071/article/details/122354151

本文深入浅出地介绍了Flink运行时的四大核心组件——Dispatcher、ResourceManager、JobManager和TaskManager，详细阐述了它们的职责与协同工作方式。此外，文章通过图解展示了Flink任务在Yarn Per-Job-Cluster模式下的分布式运行流程，从用户提交Job到任务执行的全过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

大家好，我是雷恩Layne，这是《深入浅出flink》系列的第二篇文章，我旨在用最直白的语言写好flink，希望能让所有看到的人一目了然。如果大家喜欢，欢迎点赞、关注，也欢迎留言，共同交流flink的点点滴滴 O(∩_∩)O

文章目录

文章前半部分描述Flink运行时的四大核心组件，大家在对四个组件有个印象后，再通过一张完整的图来讲解这四大组件是如何协同工作的，即Flink任务分布式的运行流程。

1. Flink运行时的四大核心组件

Flink运行时架构主要包括四个不同的核心组件，它们会在运行流处理应用程序时协同工作，分别是：作业管理器（JobManager）、资源管理器（ResourceManager）、任务管理器（TaskManager），以及分发器（Dispatcher）。因为Flink是用Java和Scala实现的，所以所有组件都会运行在Java虚拟机上。

1.1 分发器：Dispatcher

Dispatcher主要负责接收客户端提交的JobGraph对象，例如CLI客户端或Flink Web UI提交的任务最终都会发送至Dispatcher组件，由Dispatcher组件对JobGraph进行分发和执行，其中就包含根据JobGraph对象启动JobManager服务，专门用于管理整个任务的生命周期。Dispatcher也会启动一个Web UI，用来方便地展示和监控作业执行的信息。Dispatcher在架构中可能并不是必需的，这取决于应用提交运行的方式。