Flink Jobmanager HA配置（standalone）

最新推荐文章于 2025-05-11 14:26:20 发布

lmalds李麦迪

最新推荐文章于 2025-05-11 14:26:20 发布

阅读量8k

点赞数

CC 4.0 BY-SA版权

分类专栏： Flink 环境搭建文章标签： Flink HA

本文链接：https://blog.csdn.net/lmalds/article/details/52981042

本文详细介绍了如何配置Flink的JobManager高可用性(HA)，在standalone模式下利用Zookeeper实现1主多从的设置。内容包括Zookeeper配置、Flink配置文件修改、master文件编辑以及fail over测试，确保在JobManager故障时能自动切换到备用节点。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、简介

当Flink程序运行时，如果jobmanager崩溃，那么整个程序都会失败。为了防止jobmanager的单点故障，借助于zookeeper的协调机制，可以实现jobmanager的HA配置—-1主（leader）多从（standby）。

这里的HA配置只涉及standalone模式，yarn模式暂不考虑。
Flink版本： 1.1.2
Hadoop版本： 2.6.0

例如，有3个jobmanager，其HA情况如下：
standalone HA

2、standalone HA的配置

由于jobmanager的HA配置依赖于zookeeper，因此，需要先配置zookeeper，可以参考我之前的文章：
zookeeper集群配置。
而且，由于Flink的state backend要依赖hdfs，因此假设Hadoop集群也已经配置完成，可参考这里

下面开始配置jobmanager的HA：
（1）flink配置文件：conf/flink-conf.yaml

#jobmanager.rpc.address: flink

HA模式下，jobmanager不需要指定，在master file中配置，由zookeeper选出leader与standby。

#==============================================================================
# Streaming state checkpointing
#========================&#

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

lmalds李麦迪

关注关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

【Flink】 Flink JobManager HA 机制的扩展与实现

九师兄

02-02

894

1.概述转载：Flink 源码阅读笔记（21）- Flink JobManager HA 机制的扩展与实现在 Flink 1.12 中，Flink on Kubernetes 的 Native 部署方案由实验特性正式变更为生产环境可用。其中一个重要特性是扩展了 HA 的实现，引入了一种新的、完全基于 Kubernetes 的 HA 方案。在此之前，Flink on Kubernetes 部署时如果需要开启 HA，需要依赖 ZooKeeper 来实现。在有了基于 Kubernetes 的 HA 方案后，不

FlinkHA配置

GavinKai

10-30

796

操作步骤说明 1 在flink-conf.yaml中添加zookeeper配置 #开启HA，使用文件系统作为快照存储 state.backend:filesystem #默认为none，用于指定checkpoint的data files和meta data存储的目录 state.checkpoints.dir:hdfs://node01:8020/flink-checkpoin...

2 条评论您还未登录，请先登录后发表或查看评论

Flink JobManager HA模式部署（基于Standalone）

an7800666的博客

09-06

523

参考文章：https://ci.apache.org/projects/flink/flink-docs-release-1.3/setup/jobmanager_high_availability.html#bootstrap-zookeeper Flink典型的任务处理过程如下所示：很容易发现，JobManager存在单点故障（SPOF：Singl...

Flink集群搭建与配置详解

最新发布

weixin_42323064的博客

05-11

751

Hadoop生态系统是一套能够进行分布式存储和处理大数据的工具集合。它主要包含以下核心组件：HDFS(Hadoop Distributed File System)：一个高度容错的系统，适合在廉价硬件上运行。HDFS提供高吞吐量的数据访问，非常适合大规模数据集的应用。MapReduce：一种编程模型，用于处理和生成大数据集。用户可以编写Map和Reduce函数，MapReduce框架会将任务分布式执行。YARN。

【flink配置系列】flink jobmanager-application-ha.yaml功能详解

wang2leee的博客

09-02

292

这个配置文件是用于部署 Flink JobManager 作业的 Kubernetes Job。在高可用（HA）模式下，使用该配置文件可以创建一个 JobManager 实例来运行独立的作业。

Flink HA配置

大数据技术博客

03-22

6635

JobManager 高可用(HA) jobManager协调每个flink任务部署。它负责调度和资源管理。默认情况下，每个flink集群只有一个JobManager，这将导致一个单点故障(SPOF)：如果JobManager挂了，则不能提交新的任务，并且运行中的程序也会失败。使用JobManager HA，集群可以从JobManager故障中恢复，从而避免SPOF 。用户在stand...

Flink 高可用之StandAlone-HA模式(一)

天道酬勤

05-16

1125

服务器: node1(Master + Slave): JobManager + TaskManager。- 服务器: node2(Master + Slave): JobManager + TaskManager。- 服务器: node3(Slave): TaskManager。#存储JobManager的元数据到HDFS。#启用检查点，可以将快照保存到HDFS。#开启HA，使用文件系统作为快照存储。#使用zookeeper搭建高可用。

Flink Standalone HA集群的安装配置

wjt199866的博客

07-22

1261

Flink集群有两种部署的模式，分别是Standalone以及YARNCluster模式。 Standalone模式：Flink必须依赖于ZooKeeper来实现JobManager的HA（Zookeeper 已经成为了大部分开源框架HA必不可少的模块）。在Zookeeper的帮助下，一个Standalone的Flink集群会同时有多个活着的 JobManager，其中只有一个处于工作状态，其他处于Standby状态。当工作中的JobManager失去连接（如宕机或Crash），ZooKeeper会从St

docker部署flink standalone HA

weixin_45230582的博客

12-25

2177

简单的standalone模式可以从dockerhub上找到。 HA：先从https://github.com/docker-flink/docker-flink 这个网址把文件拉取出来。然后把文件放到Linux系统，进入文件目录。执行./add-version.sh -r flink-release -f flink-version flink-release 是指已经build的文件目录 ...

Flink JobManager、TaskManager、Slot、作业运行模式、Exactly Once、状态流、时间流、API结构

psycho7ogist的博客

09-07

1979

Flink 重要概念梳理与解析，如 JobManager、TaskManager、Slot、作业运行模式、Exactly Once、状态流、时间流、API结构等

05_Flink-HA高可用、JobManager HA、JobManager HA配置步骤、Flink Standalone集群HA配置、Flink on yarn集群HA配置等

涂作权的博客

01-20

842

1.5.Flink-HA高可用 1.5.1.JobManager高可用（HA） 1.5.2.JobManager HA配置步骤 1.5.3.Flink Standalone集群HA配置 1.5.3.1.HA集群环境规划 1.5.3.2.开始配置 1.5.3.3.配置环境变量 1.5.3.4.启动 1.5.4.Flink on yarn集群HA配置 1.5.4.1.HA集群环境规划 1.5.4.2.开始配置+启动 1.5.4.3.启动flink on yarn，测试HA 1.5.4.4.在hadoop4上启动

《从0到1学习Flink》—— Flink JobManager 高可用性配置

http://www.54tianzhisheng.cn/

03-03

668

转载请务必注明原创地址为：http://www.54tianzhisheng.cn/2019/01/13/Flink-JobManager-High-availability/ , 未经允许禁止转载。前言之前在《从0到1学习Flink》—— Flink 配置文件详解讲过 Flink 的配置，但是后面陆续有人来问我一些配置相关的东西，在加上我现在对 Flink 也更熟悉了些，这里我就再写...

flink1.10三节点集群standalone模式搭建

ASN_forever的博客

05-19

3411

各台机器上提前准备jdk1.8以及上的java环境，并且配置ssh免密登录。集群环境 flink1:172.21.89.128 jobmanager flink2:172.21.89.129 taskmanager flink3:172.21.89.130 taskmanager 在flink1上做flink配置，主要是flink-conf.yaml、masters和slaves flink-conf.yaml： jobmanager.rpc.address: fl

FlinkJob提交和参数配置

互联网知识分享

08-02

2910

提交和参数配置的理论解释、标题序号分点说明以及完整的代码案例。的参数配置主要包括并行度、时间特性、重启策略等。的重启策略为固定延迟重启策略，最大重启次数为。在实际运行时，可以通过命令行工具。的调度中心，负责接收和处理。图进行任务的调度和执行。网络缓冲区的大小，默认为。网络缓冲区的大小，默认为。可用的任务槽数量，默认为。的地址和端口号，以便与。进程的内存大小，默认为。的堆外内存大小，默认为。的堆外内存大小，默认为。进程的内存大小，默认为。的堆外内存大小，默认为。的堆外内存大小，默认为。

Flink配置文件详解

qianyulin

08-30

1667

我们先来安装路径下的配置文件吧安装目录下主要有 flink-conf.yaml 配置、日志的配置文件、zk 配置、Flink SQL Client 配置。 1、Flink-conf.yarml 基础配置 # jobManager 的IP地址 jobmanager.rpc.address: localhost # JobManager 的端口号 jobmanager.rpc.p...

Flink的安装部署

Tattoo

11-21

4781

Standalone集群安装 1.上传安装包到linux系统使用rz命令 2.解压 tar –zxvf flink-1.5.0-bin-hadoop24-scala_2.11.tgz 3.修改配置文件 vim conf/flink-conf.yaml jobmanager.rpc.address: master jobmanager.rpc.port: 6123 jobmanager.heap....

Flink基于zookeeper的高可用实现源码分析

张普的专栏

01-06

1274

点击箭头处“蓝色字”，关注我们哦！！Flink中JobMaster、ResourceManager、Dispatcher、WebMonitorEndpoint提供了基于zookeeper...

flink学习-2（配置篇）

taotaobujuerulv的博客

04-29

800

用于网络缓冲区的 JVM 内存的分数。该配置必须匹配 “security.kerberos.login.contexts” 中的列表（含有一个）：zookeeper.sasl.login-context-name: Client。以逗号分隔的目录列表，用于监视已完成的作业：historyserver.archive.fs.dir: hdfs:///completed-jobs/将已完成的作业上传到的目录：jobmanager.archive.fs.dir: hdfs:///completed-jobs/

Flink1.13.2三种方式安装部署

热门推荐

逆流而上Mr李

09-22

1万+

有位Flink初学者问我有没有Flink的安装教程，看到这后，土哥二话不说直接安排上。以下教程全部使用 Flink1.13.2版本，在普通用户下面部署： 1、Standalone部署版本要求：版本节点部署方式 flink-1.13.2-bin-scala_2.11.tgz 192.168.244.129 standalone 1.1 将软件安装包放入集群中 1.2、软件包解压 tar -zxvf flink-1.13.2-bin-scala_2.11

Flink本地模式搭建、Flink Standalone搭建、Flink Standalong HA搭建

03-04

### Flink 本地模式、Standalone 模式以及 Standalone HA 搭建指南 #### 一、Flink 本地模式搭建 **简介**: Flink 的本地模式允许你在单台机器上运行 Flink 程序，适用于开发和测试环境。它不需要集群配置，直接在 JVM 中启动。 **步骤**: 1. **安装 Java 和 Maven**：确保已安装 JDK，并设置好 `JAVA_HOME` 环境变量。 2. **下载并解压 Flink**：从 [官方下载页面](https://flink.apache.org/downloads.html) 下载最新版本的二进制包，并将其解压缩到指定目录。 3. **修改配置文件 (可选)**：如果你需要调整默认配置，可以编辑 `${FLINK_HOME}/conf/flink-conf.yaml` 文件。 4. **启动本地会话**： - 进入 Flink 目录，在命令行中输入 `./bin/start-cluster.sh` 启动本地集群。 5. **验证安装成功**：访问 Web UI (`http://localhost:8081`) 查看集群状态，默认端口为 8081。 #### 二、Flink Standalone 模式搭建 **简介**: Flink 提供了独立部署的方式，即无需依赖 YARN 或 Kubernetes 等资源管理框架即可单独构建分布式计算平台。此方式适合小型生产场景下的快速部署。 **步骤**: 1. **准备多台服务器节点**, 配置免密 SSH 登录以便于后续操作自动化； 2. **分发软件包及配置同步**: 将之前下载好的 flink 安装包复制到所有目标主机相应位置；同时保持各个节点间的时间一致性（通过 NTP 实现），并将公共部分如 `masters`, `slaves` 列表信息写入每台 server 上相同的路径下； 3. **编辑主配置文件**`${FLINK_HOME}/conf/flink-conf.yaml` - 设置 jobmanager.rpc.address 属性为你选定作为 master 节点 IP 地址; - 根据实际硬件条件适当调整 taskManager.numberOfTaskSlots 参数值等其他必要项. 4. **初始化 ZooKeeper**(如果需要高可用特性的话)，并在 zk 中创建根 namespace `/flink`; 5. **分别依次启动各组件** - Master Node 执行 ./bin/jobmanager.sh start cluster ; - Slave Nodes 分别执行 ./bin/taskmanager.sh start ; 6. 测试整个架构是否正常工作. #### 三、Flink Standalone High Availability(HA) 模式搭建为了保证系统的稳定性和容错能力,Flink 支持基于第三方存储系统(ZooKeeper/Consul/Etcd...)实现 JobManager failover 及 metadata persistence 功能, 其中 zookeeper 方案最为常用. ##### 基本原理：当启用HA功能后，Flink会将JobGraph保存至Zookeeper中形成快照;一旦当前活跃JM发生故障，则新的JM可以从zk拉取数据恢复作业继续执行而不会丢失进度。 ##### 主要更改点包括但不限于以下几个方面 : - 更新 ${FLINK_HOME}/conf/flink-conf.yaml 添加下面几条记录开启ha支持并指明类型(zk): ```yaml high-availability: zookeeper high-availability.zookeeper.quorum=localhost:2181 #替换为真实地址串 ``` - 如果采用外部托管形式则还需额外指定 leader-election-service & checkpoint-storage path 对应key-value对儿; 最后参照standalone流程完成其余环节直至服务上线前的各项检查确认无误方可投入使用. ---