采用Flume-kafka-Flume将数据导入到HDFS中

最新推荐文章于 2023-04-18 09:44:14 发布

原创

最新推荐文章于 2023-04-18 09:44:14 发布 · 1.4k 阅读

16 ·

CC 4.0 BY-SA版权

文章标签：

#flume #kafka #大数据 #hdfs #hadoop

本文介绍如何利用Flume从指定目录监听数据，将其发送到Kafka，然后通过Kafka将数据进一步导入到HDFS。创建了flume-kafka.conf和kafka-flume-hdfs.conf配置文件，确保Flume监听目录并将数据传输到Kafka的flume主题，之后检查数据是否成功到达，并配置kafka-flume-hdfs.conf将数据导入HDFS。注意配置参数如a2.sources.r2.batchSize和a2.channels.c2.transactionCapacity需保持一致。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

首先，我们要创建两个conf文件供Flume来使用，分别为flume-kafka.conf和kafka-flume-hdfs.conf,然后我们创建一个kafka的topic，叫做flume，我们通过这个topic来检验flume的数据是否传输给了kafka。
下面是示例代码。
首先创建flume-kafka.conf

# define
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# source
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /opt/wdp/flume/datas
# sink
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.kafka.bootstrap.servers = //这里写你自己的kafka端口号，如master:9092
a1.sinks.k1.kafka.topic = flume
a1.sinks.k1.kafka.flumeBatchSize = 20
a1.sinks.k1.kafka.producer.acks = 1
a1.sinks.k1.kafka.producer.linger.ms = 1

# channel
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# bind
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

这个flume-kafka.conf主要是用来监听目录的，当我们向目录中mv或cp数据是，flume将会把数据传输给kafka
然后建立kafka的topic

kafka-topics.sh --create --bootstrap-server master:9092 --replication-factor 1 --partitions 1 --top

最低0.47元/天解锁文章

200万优质内容无限畅学