- 博客(5)
- 收藏
- 关注
RSS订阅原创 Flink SQL对于window aggregation的优化
在Flink SQL的window计算中，为了提高性能，Flink SQL根据minibatch的设计思想引入了slice机制。首先Flink SQL把window分成了两大类对于aligned window，Flink SQL希望将他们分成一定数量并且不相交的slice，使每一个元素都属于某个slice，这样在做window计算的时候相当于是两步，第一步使用local aggregate计算slice中的结果，第二部使用整体的window对slice的计算结果作global aggregate。
2022-09-13 14:26:22
1072
原创 Windowing TVF 源码
ExecNodeGraphGenerator.generate, 输入参数 List relNodes 就是 任务的 sink 节点的列表, 如果有多个 sink 会依次生成每个 sink 对应的流图， 生成后 添加到 rootNodes 列表中。看过相关介绍、博客的同学应该都知道，Flink 的执行图是从 sink 开始构建的，从 sink 节点开始，然后根据 sink 的输入边，构建 sink 的上游节点， 这样依次构建到 source 节点。
2022-09-13 11:31:26
374
原创 Flink sql Group Windows 窗口源码解析
窗口（Window）是 Flink 众多优势之一。窗口可以将数据流装入大小有限的“桶”中，再对每个“桶”加以处理随着实时数仓和 flink sql 越来越成熟，flink sql 又变成 flink 中最常用的 api在这种场景下，我们来看看 flink sql 窗口的源码。（练习一下表达能力，扯一些有的没的）
2022-09-13 11:22:37
903
原创 maven 阿里云
<mirrors> <mirror> <id>aliyunmaven</id> <mirrorOf>*</mirrorOf> <name>阿里云公共仓库</name> <url>https://maven.aliyun.com/repository/public</url> ...
2022-02-28 15:21:04
128
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人