Flink之reduce操作

原创 已于 2024-08-03 20:24:50 修改 · 725 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink #大数据

于 2024-08-03 19:02:48 首次发布

Flink的reduce操作是一种聚合操作，‌用于对数据进行分组或不分组的聚合计算，‌最终将数据聚合成一个元素。‌这个操作可以在分组的dataset上使用，‌也可以在不分组的dataset上使用。‌在分组的dataset上使用时，‌reduce操作应用用户定义的reduce函数将每个组减少为单个元素。‌对于每组输入元素，‌reduce函数连续地将元素对组合成一个元素，‌直到每个组只剩下一个元素。‌对于ReduceFunction，‌返回对象的key字段应与输入值匹配，‌这是因为reduce是可隐式组合的，‌并且从combine运算符发出的对象在传递给reduce运算符时再次按key分组。‌

具体来说，‌reduce操作适用于需要对数据进行聚合的场景，‌比如统计、‌计数等。‌例如，‌在日志分析中，‌可以使用reduce操作统计某个字段（‌如IP地址）‌的出现次数，‌或者统计某个单词在文本中出现的次数等。‌这种操作不仅限于分组数据，‌也可以直接应用于整个数据集，‌实现对整个数据集的聚合计算。‌

上图展示了reduce算子的原理：reduce在按照同一个Key分组的数据流上生效，它接受两个输入，生成一个输出，即两两合一地进行汇总操作，生成一个同类型的新元素。

reduce需要针对分组或者一个window(窗口)来执行，也就是分别对应于keyBy、window/timeWindow 处理后的数据，根据ReduceFunction将元素与上一个reduce后的结果合并，产出合并之后的结果

与简单聚合类似，reduce()操作也会将 KeyedStream 转换为 DataStream。它不会改变流的 元素数据类型，所以输出类型和输入类型是一样的。

 调用 KeyedStream 的 reduce()方法时，需要传入一个参数，实现 ReduceFunction 接口

实例1：相邻元素求和，定义tupple2类型

最低0.47元/天 解锁文章

200万优质内容无限畅学
flink reduce使用详解
congge_study的博客
01-12 4088
flink reduce使用详解
Flink reduce 作用 实例
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
06-17 3289
package reduce; import org.apache.flink.api.java.tuple.Tuple3; import org.apache.flink.streaming.api.datastream.DataStreamSource; import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment; import org.apache.flink.streaming.api.funct...
Flink Window中典型的增量聚合函数(ReduceFunction / AggregateFunction)
文文x的博客
12-08 1277
在Flink Window中定义了窗口分配器，我们只是知道了数据属于哪个窗口，可以将数据收集起来了；至于收集起来到底要做什么，其实还完全没有头绪，这也就是窗口函数所需要做的事情。所以在窗口分配器之后，我们还要再接上一个定义窗口如何进行计算的操作，这就是所谓的“窗口函数”（window functions）。窗口可以将数据收集起来，最基本的处理操作当然就是基于窗口内的数据进行聚合。我们可以每来一个数据就在之前结果上聚合一次，这就是“增量聚合”。
flink reduce详解
冰血ANG的博客
03-05 8686
背景： flink有两种reduce的方式，一种是正常的reduce，一种是windows窗口的reduce，本文主要介绍两种reduce方式的区别 1、正常的reduce 1.1 代码示例 val resultResult = inputstream .keyBy(_.sensor_id) .reduce(new ReduceFunction[SensorReading] { override def reduce(t: SensorReading, t1: Sen
Flink 归约聚合（reduce）
qq_34125999的博客
02-07 2011
其实，reduce 的语义是针对列表进行规约操作，运算规则由 ReduceFunction 中的 reduce方法来定义，而在 ReduceFunction 内部会维护一个初始值为空的累加器，注意累加器的类型。将合并的结果看作一个数据、再跟后面的数据合并，最终会将它“简化”成唯一的一个数据，这也就是 reduce“归约”的含义。和输入元素的类型相同，当第一条元素到来时，累加器的值更新为第一条元素的值，当新的元素到来时，新元素会和累加器进行累加操作，这里的累加操作就是 reduce 函数定义的运算规。
Flink 系例 之 Reduce
不会飞的小龙人的博客
12-13 1581
Reduce算子：对数据流进行滚动聚合计算，并返回每次滚动聚合计算合并后的结果 示例环境 java.version: 1.8.x flink.version: 1.11.1 示例数据源（项目码云下载） Flink 系例 之 搭建开发环境与数据 Reduce.java import com.flink.examples.DataSource; import org.apache.flink.api.common.functions.ReduceFunction; import org.a..
Flink中reduce算子的使用
AnameJL的博客
06-16 1373
Flink中reduce的使用
Apache Flink：测试使用reduce增量聚合和windowAll操作
编程学习者的博客
06-06 1575
1.声明 当前内容主要为测试和使用Apache Flink中的增量聚合操作，当前内容主要借鉴：Flink官方文档 主要内容有 使用Flink的增量聚合 分析增量聚合操作 windowAll操作 pom依赖:参考前面的文章 2.增量聚合操作的demo 数据源参考前面博文中的ComputerTemperature这个实体类 import org.apache.flink.api.common.functions.ReduceFunction; import org.apache.flink.streami
flink中reduce和process算子作用
最新发布
03-29
不过用户的问题主要集中在reduce和process的区别上，所以我需要重点分析这两个算子的不同之处。 首先，我需要明确reduce算子的作用。根据引用[1]和[4]，reduce是一个滚动聚合算子，用于在KeyedStream上进行聚合操作...
【Flink】规约算子 reduce
weixin_65690086的博客
07-19 293
【Flink】规约算子 reduce
flink学习（4）——方法的使用—对流的处理（keyBy，Reduce）
weixin_52642840的博客
11-23 893
keyby 和reduce的使用
flink reduce算子
ASN_forever的博客
06-11 2398
reduce算子是flink流处理中的一个聚合算子，可以对属于同一个分组的数据进行一些聚合操作。 但有一点需要注意，就是在需要对聚合结果进行除聚合操作之外的操作时，有可能会失效。 比如下面一段代码： public static void main(String[] args) throws Exception { StreamExecutionEnvironment environment = StreamExecutionEnvironment.getExecutionEnviro
Flink系列：Reduce算子的使用方法
NIO4444
03-28 1102
目录 需求 Reduce用法 实现 相关：Flink系列：KeyBy算子的使用方法https://xdoctorx.blog.csdn.net/article/details/115282824 需求 使用Reduce算子，不断更新单次出现的次数 Reduce用法 KeyedStream → DataStream 输入一个元素，将当前元素与最后一个reduce计算的值组合并生成新值。 实现 package nio4444.connect; import lombo..
Flink中reduce的4种方式
dinghua_xuexi的专栏
08-03 4406
def main(args: Array[String]): Unit = { val env = ExecutionEnvironment.getExecutionEnvironment val path = this.getClass.getResource("/data.txt").getPath val text = env.readTextFile(path).setParallelism(2) val group_ds = text.flatMap(_.spli.
flink窗口函数之reduceFuction学习
cclovezbf的博客
09-23 773
按道理都是10条数据的。很简单是因为只有6条数据在开启的窗口里。然后拿着new new value 和value4进行合并，得到new new new value...注意源码注意，reduce就是combine两个value成为一个value，注意类型是一样的，然后拿着new value 和value3 再进行合并，得到一个new new value。特性是 流式函数中数据是连绵不绝的 value1 value2。简单案例，统计每个用户窗口时间内的访问量 (也可以是每个url被访问的量)
Flink java 自定义reduce函数，以wordcount为例
呆萌的代Ma
09-29 561
maven项目的文本文件与pom.xml配置请参考：https://blog.csdn.net/weixin_35757704/article/details/120555968 同样以wordcount为例 package transform; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.common.functions.ReduceFunction; import o
flink的reduce和reduceGroup性能测试
weixin_39031707的博客
08-07 2480
reduceGroup 的性能官方说要高于reduce，下面是测试代码 package com.yeahmobi.test import org.apache.flink.api.scala.ExecutionEnvironment import org.apache.flink.api.scala._ import org.apache.flink.util.Collector import...
Flink学习20：算子介绍reduce
hzp666的博客
08-10 799
1.继承 ReduceFunction 类2.重写reduce 方法。
Flink-Reduce进行归约聚合（案例之找点击次数最活跃（即访问量最大））
weixin_36857135的博客
09-06 283
【代码】Flink-Reduce进行归约聚合（案例之找点击次数最活跃（即访问量最大））
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

薛定谔的猫1982

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值