Flink的sink实战之二:kafka

| git仓库地址(ssh) | [email protected]:zq2599/blog_demos.git | 该项目源码的仓库地址,ssh协议 |

这个git项目中有多个文件夹,本章的应用在flinksinkdemo文件夹下,如下图红框所示:

在这里插入图片描述

准备完毕,开始开发;

准备工作

正式编码前,先去官网查看相关资料了解基本情况:

  1. 地址:https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/connectors/kafka.html

  2. 我这里用的kafka是2.4.0版本,在官方文档查找对应的库和类,如下图红框所示:

在这里插入图片描述

kafka准备

  1. 创建名为test006的topic,有四个分区,参考命令:

./kafka-topics.sh \

–create \

–bootstrap-server 127.0.0.1:9092 \

–replication-factor 1 \

–partitions 4 \

–topic test006

  1. 在控制台消费test006的消息,参考命令:

./kafka-console-consumer.sh \

–bootstrap-server 127.0.0.1:9092 \

–topic test006

  1. 此时如果该topic有消息进来,就会在控制台输出;

  2. 接下来开始编码;

创建工程

  1. 用maven命令创建flink工程:

mvn \

archetype:generate \

-DarchetypeGroupId=org.apache.flink \

-DarchetypeArtifactId=flink-quickstart-java \

-DarchetypeVersion=1.9.2

  1. 根据提示,groupid输入com.bolingcavalry,artifactid输入flinksinkdemo,即可创建一个maven工程;

  2. 在pom.xml中增加kafka依赖库:

org.apache.flink

flink-connector-kafka_2.11

1.9.0

  1. 工程创建完成,开始编写flink任务的代码;

发送字符串消息的sink

先尝试发送字符串类型的消息:

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值