flink入门-04-时间语义和watermark

本文详细介绍了Flink中的时间语义,包括EventTime、IngestionTime和ProcessingTime,并强调了EventTime在处理乱序数据中的重要性。针对乱序数据,文章讲解了Watermark的概念和作用,它是处理乱序事件的关键机制,用于设定延迟触发并确保窗口计算的准确性。同时,提到了如何设置和自定义Watermark,以及在实际应用中如何平衡延迟和结果正确性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1、Flink 中的时间语义

1.1 时间(Time)语义

 

• Event Time:事件创建的时间

• Ingestion Time:数据进入Flink的时间

• Processing Time:执行操作算子的本地系统时间,与机器相关

1.2 哪种时间语义更重要?

示例:

 

• 不同的时间语义有不同的应用场合

• 我们往往更关心事件时间(Event Time)

 

• 某些应用场合,不应该使用 Processing Time

• Event Time 可以从日志数据的时间戳(timestamp)中提取

➢ 2017-11-02 18:37:15.624 INFO Fail over to rm

2、设置 Event Time

2.1 设置 Event Time

• 我们可以直接在代码中,对执行环境调用 setStreamTimeCharacteristic 方法,设置流的时间特性

• 具体的时间,还需要从数据中提取时间戳(timestamp)

 

2.2 乱序数据的影响

 

• 当 Flink 以 Event Time 模式处理数据流时,它会根据数据里的时间戳来 处理基于时间的算子

• 由于网络、分布式等原因,会导致乱序数据的产生

• 乱序数据会让窗口计算不准确

问题?

➢ 怎样避免乱序数据带来计算不正确?

➢ 遇到一个时间戳达到了窗口关闭时间,不应该立刻触发窗口计算,而是等 待一段时间,等迟到的数据来了再关闭窗口

3、 水位线(Watermark)

• Watermark 是一种衡量 Event Time 进展的机制,可以设定延迟触发

• Watermark 是用于处理乱序事件的,而正确的处理乱序事件,通常用 Watermark 机制结合 window 来实现;

• 数据流中的 Watermark 用于表示 timestamp 小于 Watermark 的数据, 都已经到达了,因此,window 的执行也是由 Watermark 触发的。

• watermark 用来让程序自己平衡延迟和结果正确性

3.1 watermark 的特点

 

• watermark 是一条特殊的数据记录

• watermark 必须单调递增,以确保任务的事件时间时钟在向前推进,而不是在后退

• watermark 与数据的时间戳相关

3.2 watermark 的传递

 

3.3 watermark 的引入

1) Event Time 的使用一定要指定数据源中的时间戳

2) 调用assignTimestampAndWatermarks 方法,传入一个BoundedOutOfOrdernessTimestampExtractor,就可以指定

 

3) 对于排好序的数据,不需要延迟触发,可以只指定时间戳就行了

 

4) Flink 暴露了 TimestampAssigner 接口供我们实现,使我们可以自定义如何从事件数据中抽取时间戳和生成watermark

dataStream.assignTimestampsAndWatermarks(new MyAssigner())

MyAssigner 可以有两种类型,都继承自 TimestampAssigner

5) TimestampAssigner

• 定义了抽取时间戳,以及生成 watermark 的方法,有两种类型

➢ AssignerWithPeriodicWatermarks

• 周期性的生成 watermark:系统会周期性的将 watermark 插入到流中

• 默认周期是200毫秒,可以使用

ExecutionConfig.setAutoWatermarkInterval() 方法进行设置

• 升序和前面乱序的处理 BoundedOutOfOrdernessTimestampExtractor, 都是基于周期性 watermark 的。

➢ AssignerWithPunctuatedWatermarks

• 没有时间周期规律,可打断的生成 watermark

4、 watermark 的传递、引入和设定

➢ 在 Flink 中,watermark 由应用程序开发人员生成,这通常需要对相应的领域有一定的了解

➢ 如果watermark设置的延迟太久,收到结果的速度可能就会很慢,解决办法是在水位线到达之前输出一个近似结果

➢ 而如果watermark到达得太早,则可能收到错误结果,不过 Flink 处理迟到数据的机制可以解决这个问题

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

步道师就是我

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值