
Flink
Leo Han
Leo Han
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Flink中实现自定义ProcessFunction实现定时器、侧输出
在Flink中,当我们需要获取到算子的Processing Time或者Water Mark以及定时器时,可以实现ProcessFunction函数。目前该函数主要有:K恶业的ProcessFuntion,ProcessFunction,CoPropcessFunction等,核心功能主要如下:可以使用状态计算,能够在算子中访问Keyed State可以设置定时器侧输出,可以将一部分数据发送到另外一个数据流中,而且输出的两个数据流数据类型可以不一样。如下自定义实现一个KeyedProcessF原创 2022-01-09 22:45:55 · 1779 阅读 · 0 评论 -
Flink中自定义Rich函数实现
在Flink中,我们知道map ,flatMap,reduce算子都可以自定义函数实现,比如MapFunction:public class MyMapFunction implements MapFunction<String,Integer> { @Override public Integer map(String s) throws Exception { return Integer.parseInt(s); }}同时,Flink中还提供原创 2022-01-09 22:27:58 · 1730 阅读 · 0 评论 -
Flink中window 窗口和时间以及watermark水印
我们都知道,Flink的核心是流式处理,但同时也支持批处理,Flink底层是一个流式引擎,在这个上面实现了流处理和批处理,而窗口则是批处理的实现。在Flink中window从大的分类上主要有三种:Time Window(根据时间)、Count Window(根据数据量)、Session Window(会话窗口)窗口类型有如下两种:Tumbling Window 滚动窗口,窗口之间的数据没有重叠Sliding Window 滑动窗口,窗口之间的数据有可能重叠Count WindowCount原创 2022-01-08 22:51:11 · 1691 阅读 · 1 评论