
Flink
文章平均质量分 52
Bonyin
这个作者很懒,什么都没留下…
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
FLink 里面的时间语义说明
在进过map的操作之后,map1的watermark为29,map2的watermark为17,在window1中操作,map1和map2的数据都会进入window1 的窗口,最终在窗口中会以最小的watermark来触发计算。使用事件时间窗口时,可能会发生元素迟到的情况,即Flink 用来跟踪事件时间进度的水印已经超过元素所属窗口的结束时间戳。基于现实世界的情况,数据流出现迟到的现象存在,那么在flink代码中允许设置迟到时间,这样在触发窗口的计算时需要加上延迟时间才可以触发窗口的计算。原创 2023-04-26 17:52:18 · 840 阅读 · 1 评论 -
idea里面,flink local模式的相关配置案例
我们在本地进行flink datastream api的java代码开发的时候,需要方便我们在web页面端进行监控job的运行情况。需要在本地的idea里面做出相关的参数配置.通过在Configuration 对象中配置相关的参数,然后我们在idea里面run main函数,这样在本地浏览器打开:localhost://8081。这个页面就是flink的web监控页面。上面可以试试监控job执行中task上的运行健康情况。上面的代码是从配置文件中读取flink的配置参数。- web端配置参数。原创 2023-04-26 10:46:30 · 337 阅读 · 0 评论 -
Flink 提交jar,报错no class Configuration not find
Flink 开发遇到的问题原创 2022-09-30 17:21:11 · 749 阅读 · 0 评论 -
Flink 自定义Sink端
Fink sink原创 2022-09-26 20:54:22 · 1308 阅读 · 0 评论 -
Flink自定义sink端SinkFunction的应用
场景说明从kafka里面读取数据,经过处理写入到mysql里面。在flink里面就是从source到sink的过程,那么本篇文章说明一下,mysqlsink的单条数据插入和批量数据插入操作。1、先说明一下SinkFunction的继承关系通过API我们可以看到sinkFunction接口的实现类有很多。比如常用的RichSinkFunction。2、mysql单条数据插入public class SinkToMysql extends RichSinkFunction<Tuple2<原创 2021-12-21 21:58:11 · 4405 阅读 · 2 评论