catkint的博客

Flink为了完成不同的任务，在DataStream中流动的不止是我们的业务数据StreamRecord，还有其余三种标记，分别是Watermark，StreamStatus，LatencyMarker。这四个类继承自StreamElement。(注：有些人可能有疑惑，checkpoint barrier不是插入了数据流中吗？是的，checkpoint barrier也是随着数据流动，但是它不...

报错: java.lang.IllegalArgumentException: TumblingEventTimeWindows parameters must satisfy 0 <= offset < size由于Flink默认窗口时区是UTC-0，其他地区需要指定时间偏移量调整时区，在Flink某些低版本中(例如1.6.2等)，官方文档更新不及时，使用负时间偏移量Tumb...

本文使用FlinkML机器学习库中的多元线性回归算法实现一个小demo。一、构造训练集LabeledVector按照文档中的步骤，我们首先构造一个LabeledVectorLabeledVector表示(label, features) labe：分类问题中的类，也可以是回归问题中的因变量 features：样本特征代码如下：val env = E...

DataSetUtils类提供了一些生成index和数据采样和分析的方法，包括countElementsPerPartition、zipWithIndex、zipWithUniqueId、sample、sampleWithSize、summarize等。首先构造输入数据DataSet<Tuple2<Integer,String>> input = env.fro...