Flink 作业提交流程

于 2025-05-18 22:31:40 发布
阅读量1k 收藏 14
点赞数 8
CC 4.0 BY-SA版权
文章标签： flink sql 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MAOZEXIJR/article/details/148051365

Apache Flink 的 作业提交流程（Job Submission Process） 是指从用户编写完 Flink 应用程序，到最终在 Flink 集群上运行并执行任务的整个过程。它涉及多个组件之间的交互，包括客户端、JobManager、TaskManager 和 ResourceManager。

🧩 一、Flink 作业提交整体流程图解

[Client] → 提交 JobGraph
     ↓
[JobManager / Dispatcher] → 调度与资源申请
     ↓
[ResourceManager] → 分配 TaskManager Slot
     ↓
[TaskManager] → 启动 Task 并执行 Subtask
     ↓
[JobManager] → 协调任务状态、检查点等

📌 二、Flink 作业提交详细步骤说明

步骤描述
1. 用户编写代码使用 DataStream API 或 SQL 编写 Flink 作业
2. 构建 StreamGraph客户端将逻辑流转换为 StreamGraph（DAG）
3. 转换为 JobGraph将 StreamGraph 转换为 JobGraph，包含算子链、并行度等信息
4. 提交 JobGraph 到集群通过 CLI、REST API 或 Web UI 提交到 Flink 集群
5. JobManager 接收并初始化创建 ExecutionGraph，管理任务调度
6. ResourceManager 分配资源根据资源需求向 TaskManager 申请 Slot
7. TaskManager 启动任务在分配的 Slot 上启动 Task，并开始执行 Subtask
8. 执行计算任务持续处理数据流，进行状态更新和窗口计算
9. 状态管理与容错Checkpoint/Savepoint 机制保障状态一致性
10. 结果输出或写入外部系统输出到 Sink（如 Kafka、HDFS、MySQL 等）

⚙️ 三、各组件职责详解

组件职责
Client提交作业、打包 JAR、生成 JobGraph
JobManager负责任务调度、协调 Checkpoint、维护 ExecutionGraph
Dispatcher接收作业提交请求，负责创建 JobManager
ResourceManager管理 TaskManager 的 Slot 资源，分配资源给 JobManager
TaskManager执行具体的 Task，每个 Task 包含一个或多个 Subtask
ExecutionGraphJobManager 内部的执行图，用于调度 Subtask
Checkpoint Coordinator协调 Checkpoint，确保状态一致性

📦 四、作业提交方式汇总

方式描述命令示例
CLI 提交最常用方式，适合本地测试和生产部署flink run -c com.example.MyJob ./myjob.jar
Web UI 提交图形化界面上传 JAR 文件并运行http://localhost:8081
REST API 提交适用于自动化部署、平台集成POST /jars/{jarid}/run
YARN Session 模式多个作业共享一个 YARN ApplicationMasteryarn session -n 2 -tm 2048
Application 模式每个作业单独启动一个 ApplicationMasterflink run-application -t yarn-application ./myjob.jar
Kubernetes Native 模式在 Kubernetes 上直接部署 Flink 作业使用 Operator 或 Native 部署模式

🧠 五、提交流程详解（以 Standalone 或 YARN 模式为例）

✅ 1. 客户端（Client）

  • 编译并打包 Flink 作业为 JAR 文件
  • 使用 flink run 命令提交作业
  • 生成 JobGraph 并发送至 JobManager
flink run -m yarn-cluster -p 4 -c com.example.WordCount ./wordcount.jar

✅ 2. JobManager（也称作 Dispatcher + JobMaster）

  • 接收 Client 提交的 JobGraph
  • 创建 ExecutionGraph，描述任务执行计划
  • 请求 ResourceManager 分配资源

✅ 3. ResourceManager

  • 根据 JobManager 请求，向 TaskManager 申请 Slot
  • 协调资源分配，保证资源公平使用

✅ 4. TaskManager

  • 收到 Slot 分配通知后，准备执行环境
  • 加载 JAR 文件，启动 Subtask
  • 向 JobManager 报告执行状态

✅ 5. ExecutionGraph 执行

  • JobManager 监控所有 Task 的执行情况
  • 触发 Checkpoint，维护状态一致性
  • 处理失败重试、反压监控等

📊 六、JobGraph vs StreamGraph vs ExecutionGraph 对比

名称描述特点
StreamGraph用户编写的 DAG 流程包含 operator chain 优化后的逻辑图
JobGraph提交到集群的任务图包含 operator chains、slot sharing group 等元数据
ExecutionGraphJobManager 内部运行图包含实际执行的 Subtask 及其依赖关系

🔁 七、状态恢复与 Checkpoint 流程

  1. JobManager 定期触发 Checkpoint
  2. TaskManager 将状态快照写入配置的 Checkpoint 存储路径（如 HDFS）
  3. JobManager 收集所有 Task 的 Checkpoint 成功信号
  4. 如果发生故障，从最近成功的 Checkpoint 恢复状态

🧪 八、完整提交命令示例（YARN 模式）

# 启动 YARN Session
flink run-application -t yarn-application \
    -Djobmanager.memory.process.size=1024mb \
    -Dtaskmanager.memory.process.size=2048mb \
    -Dparallelism.default=4 \
    ./my-flink-job.jar

# 提交到已有的 Session 集群
flink run -m yarn-cluster -p 4 -c com.example.MyJob ./myjob.jar

🧩 九、提交流程中的关键概念

概念描述
Operator Chaining算子链合并，减少网络传输开销
Slot Sharing Group同一组内的算子可共享同一个 Slot
Parallelism设置每个算子的并发数
Checkpoints用于状态一致性和容错机制
Savepoints手动触发的状态快照，用于升级、迁移等
Backpressure当下游处理速度慢于上游时产生的压力反馈机制

✅ 十、总结：Flink 作业提交流程的核心阶段

阶段描述
1. 客户端构建将用户代码转换为 StreamGraph → JobGraph
2. 提交作业Client 提交到 JobManager
3. 资源调度ResourceManager 分配 TaskManager Slot
4. 任务执行TaskManager 启动 Subtask 并执行逻辑
5. 状态管理Checkpointing 保障状态一致性
6. 故障恢复重启失败任务并从 Checkpoint 恢复

📘 十一、扩展学习方向

如果你希望我为你演示以下内容，请继续提问：

  • Flink on YARN 提交流程详解
  • Flink on Kubernetes 提交原理
  • 自定义 Checkpoint 存储路径
  • Savepoint 的使用与恢复
  • ExecutionGraph 的结构与作用
  • 如何查看 Web UI 中的 ExecutionGraph
  • 作业失败时的恢复机制详解

📌 一句话总结：

Flink 作业提交流程是一个多组件协作的过程，核心是 JobGraph 的构建与 ExecutionGraph 的执行，结合 Checkpoint 实现高可用与状态一致性。

maozexijr
关注
Flink作业提交流程
m0_37689903的博客
06-11 1587
本文主要是介绍Flink的作业提交流程。在正式介绍作业提交流程之前，先介绍了2个主要角色，作业管理器（JobManager）和任务管理器（TaskManager），然后介绍了作业运行时几个核心概念，包括并行度，算子链，任务槽，任务槽和并行度的关系。最后介绍了Flink的作业提交流程，包括standalone会话模式作业提交流程和yarn应用模式作业提交流程，注意两者之间的区别，希望对大家有所帮助
Flink 作业提交流程 ★★★★★
weixin_45417821的博客
04-08 1423
文章目录抽象视角独立模式（Standalone）YARN 集群会话（Session）模式单作业（Per-Job）模式应用（Application）模式 抽象视角 （1） 一般情况下，由客户端（App）通过分发器提供的 REST 接口，将作业提交给JobManager。 （2）由分发器启动 JobMaster，并将作业（包含 JobGraph）提交给 JobMaster。 （3）JobMaster 将 JobGraph 解析为可执行的 ExecutionGraph，得到所需的资源数量，然后向资源管理器请求资
flink-处理流程和执行图
互联网知识分享
05-18 1208
那意味着 map 算子的子任务看到的元素的个数以及顺序跟 source 算子的子任务生产的元素的个数、顺序相同， map、fliter、flatMap 等算子都是 one-to-one 的对应关系。）Flink 这样相连的算子链接在一起形成一个 task，原来的算子成为里面的一部分。将算子链接成 task 是非常有效的优化：它能减少线程之间的切换和基于缓存区的数据交换，在减少时延的同时提升吞吐量。）前言：这里我们演示的是是一台节点的flink，这里使用的solt是一个，即默认的。用来表示程序的拓扑结构。
Flink任务提交流程
qq_43118086的博客
07-27 1276
高层模式 1.客户端提交应用 2.分发器就会启动并将应用提交给一个JobManager 3.JobManager向ResourceManager申请slots 4.ResourceManager启动TaskManager 5.TaskManager启动后向ResourceManager注册slots 6.ResourceManager向TaskManager发出提供slot的指令 7.TaskManager向JobManager提供slots 8.JobManager在TaskManager提供的slot
flink 任务提交流程
oracle8090的博客
01-27 429
standalone模式 App提交应用给Dispatcher,Dispatcher接受到这个任务后， 启动并提交应用JobManager,(一个job就会对应一个jobManager进行管理), jobManager对当前的应用进行分析，解析成一个执行图,可以解析出当前的 job有多少个任务,就可以知道有多少个slot来运行，向resourceManager请求, resouceManager启动对应的taskManager,taskManager将自己的slots向ResourceManger 进行.
详解Flink作业提交流程
slivelight的博客
03-27 5583
一、提交流程 Flink 作业在开发完毕之后，需要提交到 Flink 集群执行。ClientFronted 是入口，触发用户开发的 Flink 应用 Jar 文件中的 main 方法，然后交给 PipelineExecutor（流水线执行器，在 FlinkClient 升成 JobGraph 之后，将作业提交给集群的重要环节。）#execue 方法，最终会选择一个触发一个具体的 PiplineExecutor 执行。 提交模式又可分为： Detached：Flink Client 创建完集
Flink入门（8）-Flink作业提交流程
weixin_38813363的博客
03-05 700
Flink作业提交流程概述 概述 1.在Flink Client中，通过反射启动jar中的main函数，生成FlinkStreamGraph和JobGraph，将JobGraph提交给Flink集群 2.Flink集群收到JobGraph（JobManager收到）后，将JobGraph翻译成ExecutionGraph,然后开始调度，启动成功之后开始消费数据。 pipelineExecutor有多种实现， session模式下：AbstractSessionClusterExecutor per-jo
【Flink-1.17-教程】-【三】Flink 运行架构、Flink 核心概念【并行度、算子链、任务槽】、Flink 作业提交流程
weixin_53543905的博客
01-19 1590
1、提交 job，执行运行程序的脚本（flink run）后，会生启动一个客户端进程。 2、客户端进程中会解析一些参数，如：-c（全类名） 3、生成逻辑流图（StreamGraph），通过 Operator Chain 对算子优化后，生成作业流图（JobGraph） 4、对解析完成的参数进行封装，然后通过内部的 Actor 通信系统（基于 RPC）提交、或取消（flink cancel）、或更新，将任务发送给 JobManager。 5、JobManager 自身也会有一个 Actor 通信系统
Flink job的提交流程
goTsHgo的博客
10-11 1255
在Flink中，作业（Job）的提交流程是一个复杂的过程，涉及多个组件和模块，包括作业的编译、优化、序列化、任务分发、任务调度、资源分配等。Flink通过分布式架构来管理作业的生命周期，确保作业在不同节点上以高效和容错的方式运行。我们可以从底层原理和源码层面详细解析Flink作业的提交流程。
flink作业提交流程
张不帅
05-08 3237
文章目录独立模式（Standalone）YARN 集群1. 会话（Session）模式单作业（Per-Job）模式应用（Application）模式 （1） 一般情况下，由客户端（App）通过分发器提供的 REST 接口，将作业提交给JobManager。 （2）由分发器启动 JobMaster，并将作业（包含 JobGraph）提交给 JobMaster。 （3）JobMaster 将 JobGraph 解析为可执行的 ExecutionGraph，得到所需的资源数量，然后向资源管理器请求资源（slot
Flink-作业提交流程
迷路剑客个人博客
08-28 3138
Flink-作业提交流程 1 概述 Flink DataStream一个作业提交，大致有以下几步 编译阶段-Client生成StreamGraph 将每个算子转换为Transformation，并且记录下每个input Transformation。 将每个Transformation转换为StreamNode，以及带有并行度和Partitioner信息的、有向的StreamEdge，StreamNode会记录出边outEdges和入边inEdges 这样就得到了一个有向图StreamGraph
flink系列(9)-flink任务提交流程分析
weixin_34292959的博客
04-20 3974
2019独角兽企业重金招聘Python工程师标准>>> ...
【Flink】详解Flink任务提交流程
pcx171的博客
07-18 1875
本文主要介绍Flink的任务提交流程，从源码入手分析Flink如何解析命令行、提取验证有效参数、环境配置参数、程序和用户指定参数如何打包、依赖路径如何获取、客户端模式如何确定以及最后程序的主入口是哪一个
flink的任务提交流程
肥宅小谢的博客
06-08 1364
我们来看看当一个应用提交执行时，Flink 的各个组件是如何交互协作的： 上图是从一个较为高层级的视角，来看应用中各组件的交互协作。如果部署的集群环境 不同（例如 YARN，Mesos，Kubernetes，standalone 等），其中一些步骤可以被省略，或是 有些组件会运行在同一个 JVM 进程中。 具体地，如果我们将 Flink 集群部署到 YARN 上，那么就会有如下的提交流程： 1.Flink 任 务 提 交 后 ， Client 向 HDFS 上 传 Flink 的 Jar 包 和 配 置
Flink 组件详解及任务提交流程
默硕的博客
04-23 1732
控制一个应用程序执行的主进程，也就是说，每个应用程序都会被一个不同的Jobmanager所控制执行Jobmanager会先接收到要执行的应用程序，这个应用程序会包括：作业图（ Job Graph）、逻辑数据流图（ ogical dataflow graph）和打包了所有的类、库和其它资源的JAR包。Jobmanager会把Jobgraph转换成一个物理层面的数据流图，这个图被叫做“执行图”(Executiongraph)，包含了所有可以并发执行的任务。Job Manager会。
Flink-任务提交流程
qq_38304392的博客
05-30 572
运行时架构 各组件的交互： 上图是从一个较为高层级的视角，来看应用中各组件的交互协作。如果部署的集群环境不同(例如 YARN，Mesos，Kubernetes，standalone 等)，其中一些步骤可以被省略，或是有些组件会运行在同一个 JVM 进程中。 具体地，如果我们将 Flink 集群部署到 YARN 上，那么就会有如下的提交流程： Flink 任 务 提 交 后 ， Clien...
Flink任务提交流程（yarn模式）
qq_41359684的博客
11-21 1636
Flink任务提交后，Client向HDFS上传Flink的Jar包和配置， 之后向YarnResourceManager提交任务， ResourceManager分配Container资源并通知对应的NodeManager启动ApplicationMaster， ApplicationMaster启动后加载Flink的Jar包和配置构建环境，然后启动JobM...
flink作业执行流程
最新发布
04-25
<think>好的，用户想了解Apache Flink作业的执行流程。我需要根据提供的引用内容来构建一个详细的回答。首先，用户提到的三个引用中，引用[1]和[2]直接涉及Flink的执行流程和图形转换，引用[3]则关于窗口处理，可能与执行流程关系不大，但可能在某些阶段涉及。 首先，根据引用[1]，Flink的执行流程分为四个阶段的图：DataFlow Graph、Optimized DataFlow Graph、JobGraph和ExecutionGraph。我需要详细解释每一层图的转换过程和功能。例如，DataFlow Graph是用户编写的程序逻辑转换而来的，Optimized进行优化，JobGraph是提交给JobManager的，而ExecutionGraph是并行化的实例。 然后，引用[2]提到StreamGraph可视化工具和operator的转换，这对应到DataFlow Graph阶段。用户可能想知道具体的转换步骤，比如如何从用户代码生成StreamGraph，再转化为JobGraph。这里需要结合代码示例或执行计划的生成过程，比如env.getExecutionPlan()的使用。 接下来，需要确保回答结构清晰，分阶段说明，并引用对应的文献。例如，在解释每个图的时候，标注引用[1]或[2]。另外，用户可能需要知道每个阶段的作用，比如优化阶段做了什么，如何调度到集群等。 另外，用户可能对并行度和资源分配感兴趣，这涉及到ExecutionGraph的部分，需要解释Task和Subtask的概念。同时，容错机制可能涉及检查点，但引用中没有提到，可能需要避免深入。 最后，生成相关问题需要考虑用户可能的后续疑问，比如各图之间的区别、如何优化性能、并行度设置和错误处理机制。这些问题应基于已解释的内容，引导用户进一步了解。 需要检查是否符合格式要求，行内公式用$，独立公式用$$，但当前内容可能较少涉及数学公式，所以可能不需要。确保使用中文，代码块用正确语法，如Python示例。但用户的问题中未涉及代码，可能不需要代码块，但如果有例子可以加入。 总结回答结构：分四层图详细说明，每部分包含定义、转换过程和功能，引用对应的文献，最后生成相关问题。</think>### Apache Flink 作业执行流程详解 Apache Flink 作业的执行流程通过**四层图模型**实现从用户代码到分布式任务调度的转换。以下是各阶段的详细说明： --- #### 1. **DataFlow Graph（逻辑数据流图）** - **定义**：由用户编写的程序（如DataStream/DataSet API）转换而成，反映原始逻辑结构。例如，`map`、`filter`、`window`等操作符按代码顺序连接。 - **特点**： - 包含**算子（Operator）**和**数据流（DataStream）**的依赖关系。 - 未进行任何优化，仅表示程序逻辑[^1]。 - **示例**：若代码包含`Source → Map → Window → Sink`，生成的DataFlow Graph会明确体现这一链路。 --- #### 2. **Optimized DataFlow Graph（优化后的逻辑图）** - **转换过程**：Flink 对DataFlow Graph应用优化规则，如： - **算子融合（Operator Chaining）**：将多个算子合并为一个Task，减少序列化开销。 - **谓词下推（Predicate Pushdown）**：提前过滤数据以减少后续计算量。 - **目标**：提升执行效率，但尚未涉及物理资源分配[^1]。 --- #### 3. **JobGraph（作业图）** - **生成方式**：优化后的逻辑图被转换为JobGraph，提交至**JobManager**。 - **关键变化**： - **Task划分**：将多个Operator合并为**JobVertex**（例如，`Source + Map`合并为一个顶点）。 - **数据交换**：定义Task间的数据传输方式（如Forward、Hash、Broadcast）[^1][^2]。 - **示例**：通过`env.getExecutionPlan()`可生成可视化执行计划[^2]。 --- #### 4. **ExecutionGraph（执行图）** - **并行化**：JobManager根据并行度将JobGraph展开为ExecutionGraph。 - 每个JobVertex拆分为多个**ExecutionVertex**（对应一个Subtask）。 - 数据流边（Edge）扩展为实际的数据传输通道。 - **调度**：ExecutionGraph被拆分为**Task**，分配至**TaskManager**的Slot中执行[^2]。 --- #### 执行流程总结 ``` 用户代码 → DataFlow Graph → 优化 → JobGraph → 并行化 → ExecutionGraph → 调度执行 ``` --- ### 相关问题 1. Flink 的**算子融合（Operator Chaining）**如何提升性能？ 2. 如何通过**调整并行度**优化Flink作业的资源利用率？[^2] 3. Flink 如何处理数据流的**无序事件**？[^3] 4. **JobManager**和**TaskManager**在作业执行中的具体职责是什么？[^1] --- 通过上述四层图的转换，Flink 实现了从逻辑描述到分布式任务的高效执行，同时支持动态优化与容错机制。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值