happy19870612's blog

一Flume 概念 Flume是一个分布式的高可用的海量日志收集聚合传输系统;Flume传输数据的基本单元是event，这里面封装的就是传输的数据;Flume核心是Agent,agent是一个java进程，主要进行日志收集聚合和传输。它包含三个组件： Source:数据的源头，我们从哪儿收集日志 Channel:是一个暂时存储传输的数据的event的一个临时的地方。 Sink：就是even

flume拦截器可以修改或者删除事件，flume还支持连接器链，事件可以经过一系列拦截器。多个拦截器在配置文件中以空格分隔，拦截器的顺序就是事件处理的顺序，只有一个拦截器通过之后才会进行到下一个拦截器。 一 Timestamp Interceptor： 该拦截器会插入到事件头中，会在事件头中插入一个key是timestamp的KV对，value的值是相关的timestamp。该拦截器可以保护相

Channels are the repositories where the eventsare staged on a agent. Source adds the events and Sink removes it 一Memory Channel events存储在内存队列 type:memory capacity:channel中存储的最大数量的events，默认100 tra

SinkGroup允许组织多个sink到一个实体上。SinkProcessors 能够提供在组内所有sink之间实现负载均衡的能力。而且在失败的情况下能够进行故障转移。 sinks： 空格分隔的多个sink processor.type:default|failover|load_balance 一 DefaultSink Processor 只允许接收单个sink,不强制用户为sink创

一 HDFS Sink 将event写入HDFS. 1.1  RequiredProperties channel:从哪一个channelpull数据 type:hdfs hdfs.path:HDFSdirectory path 比如hdfs://hadoop09-linux:8020/user/ hadoop/flume/hive/log   1.2  OptionalPrope

一 Avro Source 监听avro 端口和从外部的Avro 客户端接受event。当与其他的flumeagent内嵌的AvroSink成对时，他能创建分层集合。 1.1Required Properties channels: 绑定的channel type: 类型 avro bind：监听的主机名或IP port: 监听的端口   1.2Optional Propertie