聊一聊Flink的监控和预警

本文详细介绍了在Flink项目中如何进行监控和预警,包括利用Flink WebUI观察性能,Kafka消费监控,YARN监控,以及如何设置报警策略。通过监控WebUI、Kafka Lag和YARN状态,结合业务需求设定合理的预警阈值,确保Flink任务的稳定运行。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

在实际的Flink 项目中,如何观察Flink的性能,如何监控Flink的运行状态,如何设置报警策略?下面简单讲下我的经验吧。

一、Flink webUI

首先聊下Flink webUI。如下图所示:

如果是本地调试模式,默认是不开启webui的。

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

上面的初始化方式,本地调试默认不开启webui。

StreamExecutionEnvironment env = StreamExecutionEnvironment.createLocalEnvironmentWithWebUI(new Configuration());
需要使用上面这种方式才能在本地调试的时候打开webui。当然了,也需要在pom文件中添加依赖
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-runtime-web_2.11</artifactId>
            <version>${flink.version}</version>
        </dependency>

如果你是on yarn 模式,则必须使用第一种初始化方式,on yarn 默认可以查看webui。

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值