2020年3月5日——sparkstreaming黑名单过滤

最新推荐文章于 2024-03-21 23:08:43 发布

南栀子。

最新推荐文章于 2024-03-21 23:08:43 发布

阅读量152

点赞数

CC 4.0 BY-SA版权

文章标签： spark

原文链接：https://blog.csdn.net/bingdianone/article/details/84857774

本文介绍了一个使用Apache Spark Streaming实现的黑名单过滤系统。该系统通过读取来自localhost的socket数据流，利用Spark Streaming的实时处理能力，对数据进行过滤，排除黑名单中的用户。此应用展示了如何在Spark中构建实时数据流处理任务，特别关注于黑名单过滤的实现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

nc -lk 6789
输入数据：
20180808,zs
20180808,ls
20180808,ww

package org.apache.spark.examples.streaming

import org.apache.spark.SparkConf
import org.apache.spark.streaming.{Seconds, StreamingContext}

/**
 * 黑名单过滤
 */



object TransformApp {
  def main(args: Array[String]): Unit = {

    val sparkConf = new SparkConf().setMaster("local[2]").setAppName("NetworkWordCount")

    /**
     * 创建StreamingContext需要两个参数：SparkConf和batch interval
     */
    val ssc = new StreamingContext(sparkConf, Seconds(5))


    /**
     * 构建黑名单
     */
    val blacks = List("zs", "ls")
    val blacksRDD = ssc.sparkContext.parallelize(blacks).map(x => (x, true))

    val lines = ssc.socketTextStream("localhost", 6789)
    val clicklog = lines.map(x => (x.split(",")(1), x)).transform(rdd => {
      rdd.leftOuterJoin(blacksRDD)
        .filter(x=> x._2._2.getOrElse(false) != true)
        .map(x=>x._2._1)
    })

    clicklog.print()

    ssc.start()
    ssc.awaitTermination()
  }
}