sparkStreaming整合flume 拉模式Poll

最新推荐文章于 2021-02-21 19:06:21 发布

慢慢活成讨厌的样子

最新推荐文章于 2021-02-21 19:06:21 发布

阅读量173

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.csdn.net/qq_41458071/article/details/106504881

本文介绍如何使用Spark Streaming与Flume进行数据实时处理。通过配置SparkConf参数，构建SparkContext与StreamingContext，设置checkpoint并从Flume中拉取数据，实现对实时流数据的单词计数汇总。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

object SparkStreamingFlumePoll {
System.setProperty("hadoop.home.dir", "d://software/hadoop-2.9.2")
//newValues 表示当前批次汇总成的(word,1)中相同单词的所有的1
//runningCount 历史的所有相同key的value总和
def updateFunction(newValues: Seq[Int], runningCount: Option[Int]): Option[Int] = {
val newCount =runningCount.getOrElse(0)+newValues.sum
Some(newCount)
}

def main(args: Array[String]): Unit = {
//配置sparkConf参数
val sparkConf = new SparkConf().setAppName("SparkStreaming_Flume_Poll").setMaster("local[2]")
//构建sparkContext对象
val sc = new SparkContext(sparkConf)
sc.setLogLevel("WARN")
//构建StreamingContext对象，每个批处理的时间间隔
val scc = new StreamingContext(sc, Seconds(5))

//设置checkpoint
scc.checkpoint("./")
//设置flume的地址，可以设置多台
val address = Seq(new InetSocketAddress("hadoop-senior.test.com",8888))
// 从flume中拉取数据
val flumeStream = FlumeUtils.createPollingStream(scc,address,StorageLevel.MEMORY_AND_DISK)

//获取flume中数据，数据存在event的body中，转化为String
val lineStream = flumeStream.map(x=>new String(x.event.getBody.array()))
//实现单词汇总
val result = lineStream.flatMap(_.split(" ")).map((_,1)).updateStateByKey(updateFunction)

result.print()
scc.start()
scc.awaitTermination()
}

}