hadoop之flume(二)

最新推荐文章于 2022-10-27 17:24:18 发布

剑若问天

最新推荐文章于 2022-10-27 17:24:18 发布

阅读量134

点赞数

CC 4.0 BY-SA版权

分类专栏：大数据

本文链接：https://blog.csdn.net/qq_24343479/article/details/95936025

大数据专栏收录该内容

3 篇文章

订阅专栏

本文介绍如何使用 Flume 实现实时数据收集。包括监控端口数据、读取本地文件及目录文件并将其发送到 HDFS 的配置与实践。通过具体案例展示了 Flume 的灵活性和强大功能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

hadoop之flume(二)

一、监控端口数据案例

1.Flume监控一端Console，另一端Console发送消息，使被监控端实时显示。

1.创建fulme agnet 配置文件 telnet.conf文件

#定义Agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

#定义source
a1.sources.r1.type = netcat
a1.sources.r1.bind = hdnode1
a1.sources.r1.port = 1000

# 定义sink
a1.sinks.k1.type = logger

# 定义memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 双向链接
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

2.启动flume

/opt/module/flume-1.8.0/bin/flume-ng agent --conf /opt/module/flume1.8.0/conf/ --name a1 --conf-file /opt/module/flume-1.8.0/jobconf/flume-telnet.conf -Dflume.root.logger==INFO,console

3.执行结果

二、实时读取本地文件到HDFS

1.Flume一端读取文件变化，另一端将文件发送到HDFS

创建flume-hdfs.conf文件

#定义Agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

#定义source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -f /opt/module/f1
a1.sources.r1.shell = /bin/bash -c

# 定义sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://hdnode1:9000/flume/%Y%m%d%H
#上传文件的前缀
a1.sinks.k1.hdfs.filePrefix = access-
#是否按照时间滚动文件夹
a1.sinks.k1.hdfs.round = true
#多少时间单位创建一个新的文件夹
a1.sinks.k1.hdfs.roundVlaue = 1
#定义时间单位
a1.sinks.k1.hdfs.roundUnit = hour
#是否使用本地时间戳
a1.sinks.k1.hdfs.useLocalTimeStamp = true
#积攒多少个Event才flush到HDFS一次
a1.sinks.k1.hdfs.batchSize = 1000
#设置文件类型,可以支持压缩
a1.sinks.k1.hdfs.fileType = DataStream
#多久生成一个新文件
a1.sinks.k1.hdfs.rollInterval = 600
#设置每个文件的滚动大小
a1.sinks.k1.hdfs.rollSize = 134217700
#文件的滚动与Event数量无关
a1.sinks.k1.hdfs.roolCount = 0
#最小副本数
a1.sinks.k1.hdfs.minBlockReplicas = 1

# 定义memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 双向链接
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

2.启动flume

/opt/module/flume-1.8.0/bin/flume-ng agent --conf /opt/module/flume1.8.0/conf/ --name a1 --conf-file /opt/module/flume-1.8.0/jobconf/flume-hdfs.conf -Dflume.root.logger==INFO,console

3.通过watch命令模拟文件变化

三、实时读取目录文件到HDFS

1.Flume一端读取文件目录变化，另一端将文件发送到HDFS

#定义Agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1

#定义source
a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /home/tmpdir
a1.sources.r1.fileSuffix = .COMPLETED
a1.sources.r1.fileHeader = true
#忽略所有以.tmp结尾的文件，不上传
#a1.sources.r1.ignorePattern=([^ ]*\.tmp)

# 定义sink
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://hdnode1:9000/flume/%Y%m%d%H
#上传文件前缀
a1.sinks.k1.hdfs.filePrefix = uploaddir-
#是否按照时间滚动文件夹
a1.sinks.k1.hdfs.round = true
#多少时间单位创建一个新的文件夹
a1.sinks.k1.hdfs.roundVlaue = 1
#重新定义时间单位
a1.sinks.k1.hdfs.roundUnit = hour
#是否使用本地时间戳
a1.sinks.k1.hdfs.useLocalTimeStamp = true
#积攒多少个Event才flush到HDFS一次
a1.sinks.k1.hdfs.batchSize = 1000
#设置文件类型，可支持压缩
a1.sinks.k1.hdfs.fileType = DataStream
#多久生成一个新的文件
a1.sinks.k1.hdfs.rollInterval = 600
#设置每个文件的滚动大小大概是128M
a1.sinks.k1.hdfs.rollSize = 134217700
#文件的滚动与Event数量无关
a1.sinks.k1.hdfs.rollCount = 0
#最小副本数
a1.sinks.k1.hdfs.minBlockReplicas = 1

# 定义memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100

# 双向链接
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

2.启动flume

/opt/module/flume-1.8.0/bin/flume-ng agent --conf /opt/module/flume1.8.0/conf/ --name a1 --conf-file /opt/module/flume-1.8.0/jobconf/flume-dir.conf -Dflume.root.logger==INFO,console

3.运行结果