| git仓库地址(ssh) | [email protected]:zq2599/blog_demos.git | 该项目源码的仓库地址,ssh协议 |
这个git项目中有多个文件夹,本章的应用在flinksinkdemo文件夹下,如下图红框所示:
准备完毕,开始开发;
准备工作
正式编码前,先去官网查看相关资料了解基本情况:
-
地址:https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/connectors/kafka.html
-
我这里用的kafka是2.4.0版本,在官方文档查找对应的库和类,如下图红框所示:
kafka准备
- 创建名为test006的topic,有四个分区,参考命令:
./kafka-topics.sh \
–create \
–bootstrap-server 127.0.0.1:9092 \
–replication-factor 1 \
–partitions 4 \
–topic test006
- 在控制台消费test006的消息,参考命令:
./kafka-console-consumer.sh \
–bootstrap-server 127.0.0.1:9092 \
–topic test006
-
此时如果该topic有消息进来,就会在控制台输出;
-
接下来开始编码;
创建工程
- 用maven命令创建flink工程:
mvn \
archetype:generate \
-DarchetypeGroupId=org.apache.flink \
-DarchetypeArtifactId=flink-quickstart-java \
-DarchetypeVersion=1.9.2
-
根据提示,groupid输入com.bolingcavalry,artifactid输入flinksinkdemo,即可创建一个maven工程;
-
在pom.xml中增加kafka依赖库:
org.apache.flink
flink-connector-kafka_2.11
1.9.0
- 工程创建完成,开始编写flink任务的代码;
发送字符串消息的sink
先尝试发送字符串类型的消息: