学习笔记--Flume

本文介绍Apache Flume的架构及工作原理,包括其如何通过Agent组件收集、处理和传输数据,支持多种数据源如日志文件、HTTP、Netcat、文件系统变更等,并详细解释了source、channel、sink等核心组件的功能。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

Apache Flume是一个分布式、可信任的弹性系统。

功能:

  • 支持在日志系统中定制各类数据发送方,用于收集数据
  • Flume提供对数据进行简单处理,并写到各种数据接收方的能力

多种数据来源:

  1. server  log : tail  -n 10000  a.log  |  grep fatal / warning
  2. http : url
  3. netcate :   ip  : port
  4. filesystem : 目录下,一旦有数据变化
  5. Console、RPC、Text、Tail、Syslog、Exec等 

Flume外部架构

log  server与agent是1:1,一个collector对应多个agent。然后将收集数据存入HDFS或Hbase上

 Flume使用Event对象来作为传递数据的格式,是内部数据传输的最基本单元

Event有两部分:header(可有可无)和body

代理(Flume  Agent)

flume内部有一个或多个Agent,每一个Agent是一个独立守护进程

Agent主要由source、channel、sink组成

  • source:输入,对接各种数据源
  • Channel:缓存(file,memory)
  • sink:输出,对接各种存储
  • 另外两个可选组件
  1. interceptor(拦截器)
  2. selector(选择器)

                  --复制(默认):replicating

                  --复用:multiplexing

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小崔崔啊

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值