flume采集方案nginx日志到hdfs上

最新推荐文章于 2022-07-06 01:36:05 发布

zwmonk

最新推荐文章于 2022-07-06 01:36:05 发布

阅读量799

点赞数

分类专栏： hadoop 文章标签： flume mysql nginx hdfs linux

本文链接：https://blog.csdn.net/zwmonk/article/details/82944027

版权

hadoop 专栏收录该内容

16 篇文章

订阅专栏

该博客介绍了如何使用 Flume 监听 Nginx 访问日志，并将新产生的文件实时传输到 HDFS 上。配置中，Flume 源 (source) 使用 exec 类型监听 `/home/centos/logs/nginx/access.log` 文件的变化，而接收器 (sink) 设置为 HDFS，将数据写入到指定的 HDFS 路径，并以特定格式命名文件。此外，博客还提及了一个清洗脚本，用于将清洗后的数据追加到 MySQL 数据库。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#########################################################

##主要作用是监听目录中的新增文件，采集到数据之后，输出到hdfs
#########################################################
a1.sources = r1
a1.sinks = k1
a1.channels = c1
#对于source的配置描述监听目录中的新增文件
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /home/centos/logs/nginx/access.log
#对于sink的配置描述使用log日志做数据的消费
a1.sinks.k1.type = hdfs
a1.sinks.k1.hdfs.path = hdfs://bdha/input/data-clean/nginx/%Y/%m/%d
a1.sinks.k1.hdfs.filePrefix = nginx
a1.sinks.k1.hdfs.fileSuffix = .log
a1.sinks.k1.hdfs.inUseSuffix = .tmp
a1.sinks.k1.hdfs.round = true
a1.sinks.k1.hdfs.rollSize = 0
a1.sinks.k1.hdfs.rollInterval = 0
a1.sinks.k1.hdfs.rollCount = 100
a1.sinks.k1.hdfs.serializer = TEXT
a1.sinks.k1.hdfs.fileType = DataStream
a1.sinks.k1.hdfs.minBlockReplicas = 1
a1.sinks.k1.hdfs.useLocalTimeStamp = true
#对于channel的配置描述使用内存缓冲区域做数据的临时缓存
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 1000
#通过channel c1将source r1和sink k1关联起来
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

清洗完的脚本定时追加到MySQL
#!/bin/sh
###############
###############
SQOOP_BIN=/home/centos/sqoop/bin/sqoop
START_DATE=date -d "1 day ago" +%Y-%m-%d
echo “START_DATE=” ${START_DATE} END_DATE=`date +%Y-%m-%d` echo "END_DATE="$ {END_DATE}
YEAR=date -d "1 day ago" +%Y
echo “YEAR=” $Y E A R M O N T H = ‘ d a t e - d " 1 d a y a g o " + e c h o " M O N T H = "$ {MONTH}
${SQOOP_BIN} import
–connect jdbc:mysql://192.168.2.101:3306/spoop
–username root
–password root
–query “SELECT id, name, date FROM t_user WHERE date >= ${START_DATE} AND date < ${END_DATE} AND $CONDITIONS”
–target-dir hdfs://bdha/input/data-clean/t_user/ ${YEAR}/$ {MONTH}
–append