flink 实现 dau 去重

queenten

已于 2024-03-05 12:01:07 修改

阅读量217

点赞数 3

CC 4.0 BY-SA版权

文章标签： flink

于 2024-03-05 12:00:00 首次发布

本文链接：https://blog.csdn.net/queenten/article/details/136460039

flink 实现 dau 去重（状态实现）

//主程序
object DauFirstInfo{
   
   
	def main(args: Array[String]):Unit = {
   
   
		// 定义环境变量，创建消费环境配置
		val testDauGroupId = "test_daufirstinfo_20240303"
		val source_kafka_host = ConfigHelper.getBootStrapServers(Config.TEST_SOURCE_KAFKA,Region.TEST_CLUSTER.getName())
		val testTopicProprties:Properties = KafkaConnector.createConsumerProperties(source_kafka_host,testDauGroupId)
		val testConsumer = KafkaConnector.createStringSource(Config.TEST_SOURCE_KAFKA,testTopicProprties)
		val env:StreamExecutionEnvironment = StreamingUtils.getStreamExecutionment 
		
		env.getCheckpointConfig.setMaxConcurrentCheckpoints(1)
		val dataStream = env
		.addSource(testConsumer).uid("xxx").name("xxx")
		// 筛选出有设备 id + 启动时间的日志（有效日志）
		.flatMap(new RichFlatMapFunction[String,String]<