Flink 提供了很多Connector组件,其中应用较广泛的就是Kafka这个Connector了,下面我们针对Kafka-Connector在Flink中的应用做详细的分析。
一、Kafka-Connector
针对Flink的流处理,最常用的组件就是Kafka,原始日志数据产生后会被日志采集工具采集到Kafka中让Flink去处理,处理之后的数据可能也会继续写入到Kafka中,Kafka可以作为Flink的DataSource和DataSink来使用。
并且Kafka中的Partition机制和Flink的并行度机制可以深度结合,提高数据的读取效率和写入效率。
想要在Flink中使用Kafka需要添加对应的依赖
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-connector-kafka_2.12</artifactId>
<version>1.11.1</version>
</dependency>
二、Kafka Consumer的使用
我们演示一下在Flink中如何消费Kafka中的数据,此时需要用到Kafka Consumer
scala代码如下:
package com.imooc.scala.kafkaconnector
imp