Flume 1.9.0 安装与配置教程-CSDN博客

本文档详细介绍了如何在Linux环境下安装配置Flume 1.9.0。首先，从官网下载Flume并解压至指定目录，接着配置环境变量，然后修改Flume配置文件，包括source、sink和channel。配置完成后，启动Flume agent，并通过scp命令将配置好的Flume复制到Hadoop集群的其他节点上。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

以下内容中出现的/opt/module 全部为自己电脑上的文件夹路径

下载文件，将其拉至software中然后将其解压至module
命令： cd /opt/software tar -zxvf apache-flume-1.9.0-bin.tar.gz -C /opt/module
配置环境变量命令： vi /etc/profile
在其最后添加内容export FLUME_HOME=/opt/module/apache-flume-1.9.0-bin
export PATH=$PATH:$FLUME_HOME/bin
然后 esc：wq 退出后输入 source /etc/profile
修改flume环境变量 cd /opt/module/apache-flume-1.9.0-bin/conf
然后拷贝flume环境变量 cd /flume-env.sh.template flume-env.sh
然后添加内容命令： vi flume-env.sh
添加export JAVA_HOME=/opt/module/jdk1.8.0_11
然后esc：wq 即可
拷贝配置文件命令：cp flume-conf.properties.template flume-client.properties
然后配置文件内容命令：vi flume-client.properties
添加内容为：#分别指定agent的sources，sinks, channels的名称名称可以自定义
a1.sources = s1
a1.sinks = k1
a1.channels = c1

#配置目录scource
a1.sources.s1.type =spooldir
a1.sources.s1.spoolDir =/opt/module/hadoop-3.1.3/logs
a1.sources.s1.fileHeader= true
a1.sources.s1.channels =c1

#配置sink
a1.sinks.k1.type = logger
a1.sinks.k1.channel = c1

#配置channel(内存做缓存)
a1.channels.c1.type = memory
然后esc：wq 即可
启动一下命令：flume-ng agent -n a1 -c conf -f flume-client.properties -Dflume.root.logger=DEBUG,console
然后进行集群拷贝命令：scp -r /usr/local/soft/apache-flume-1.9.0-bin root@hadoop101:/opt/moduule
然后拷贝到Hadoop102中命令：scp -r /usr/local/soft/apache-flume-1.9.0-bin root@hadoop102:/opt/module