使用Flink Maven项目进行词频统计

yiyiqi123

于 2020-04-13 20:52:45 发布

阅读量313

点赞数

CC 4.0 BY-SA版权

分类专栏：随机文章标签： redis

本文链接：https://blog.csdn.net/yiyiqi123/article/details/105497229

随机专栏收录该内容

21 篇文章

订阅专栏

本文深入探讨了Flink在批处理和流处理场景下的应用实践，通过具体示例展示了如何创建执行环境，从文件和端口读取数据，进行数据处理，并输出结果。适合对实时数据处理感兴趣的开发者阅读。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

批处理
def main(args: Array[String]): Unit = {
//创建执行环境
val env = ExecutionEnvironment.getExecutionEnvironment

//从文件中读取数据
val unit = env.readTextFile("C:\\Intel\\day046\\input\\word.txt")
//进行数据处理
val ww = unit.flatMap(_.split(",")).map((_,1)).groupBy(0).sum(1)

//进行数据结果打印输出
ww.print()

}

流处理
def main(args: Array[String]): Unit = {
//创建执行环境
val env = StreamExecutionEnvironment.getExecutionEnvironment

//从端口读取数据
val unit = env.socketTextStream("hdp222",555)

//进行数据处理
val ww = unit.flatMap(_.split(",")).map((_,1)).keyBy(0).sum(1)

//打印输出
ww.print()
env.execute()

}