
Flume
StephenYYYou
咸鱼是湿垃圾还是干垃圾?
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Flume(一)
目录 Flume简介 Flume角色 Flume传输过程 Flume部署及使用 Flume简介 (1) Flume提供一个分布式的,可靠的,对大数据量的日志进行高效收集、聚集、移动的服务,Flume只能在Unix环境下运行。 (2) Flume基于流式架构,容错性强,也很灵活简单。 (3) Flume、Kafka用来实时进行数据收集,Spark、Flink用来实时处理数据,i...原创 2019-09-04 15:31:17 · 225 阅读 · 0 评论 -
Flume(二)
Flume(二) 目录 Flume(二) 案例一:监控端口数据 案例二:实时读取本地文件到HDFS 案例三:实时读取目录文件到HDFS 案例一:监控端口数据 目标:Flume监控一端Console,另一端Console发送消息,使被监控端实时显示。 (1)安装telnet工具 yum -y install telnet (2)创建Flume Agent配置文件,我们可...原创 2019-09-05 17:21:01 · 306 阅读 · 0 评论 -
Flume的扇入与扇出
目录 Flume的扇入与扇出 案例四:单Flume多Channel、Sink(扇出) 案例五:多Flume汇总数据到单Flume Flume的扇入与扇出 之前的案例都只有一个Flume的客户端工作,其实Flume之间也可以进行数据传递,这样的传递我们可以称为扇入和扇出。 案例四:单Flume多Channel、Sink(扇出) 目标:使用flume1监控文件变动,flume1...原创 2019-09-10 10:14:09 · 878 阅读 · 0 评论