an_vana的博客

Flume学习笔记（三）Flume 内部机制前言​ 本篇是 Flume 学习笔记的第三篇，主要整理 Flume 的事务机制以及 Event 如何在 Agent 中流转的整个过程。Flume 事务机制​ 为了保证数据的不丢失，Flume 框架在 Agent 进程中加入了俩个事物机制，分布为 Source --> Channel 和 Channel --> Sink，示意图如下：Put 事务上图中 Source 将数据推送至 Channel 的过程即 Put 事务，其分为三个阶段

Flume学习笔记（二）Flume 常用组件前言​ 上一篇介绍了 Flume 整体的组成架构，这一篇来整理一下一些较为常用的 Source，Sink，ChannelSource网络流 Source​ Flume 可以通过监听特定的端口来获取数据，以下三个是较为常用的网络流 SrouceAvro SourceAvro Source 监听指定端口，通过 RPC 的方式来获取数据，Avro 本身在大批量的数据传输过程中有良好的表现。在实际应用中可以使用 Avro Source 和 Avro Si

Flume学习笔记（一）Flume 组成架构前言​ 本文主要记录我在学习 Flume 过程中的一些知识的整理与记录，预计会做成一个系列来梳理一下 Flume 中的知识，本篇的主要内容为 Flume 的组成架构，文中如有疏漏与不足欢迎指正！一、Flume 是什么​ Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。其可以不断的监听数据源来将新产生的数据搬迁至目标，如将新产生的log 日志数据写入 HDFS。二、

Flume 安装前言​ Flume最早是Cloudera提供的日志收集系统，现在为 Apache 基金会下的项目，Flume 提供了海量日志的采集、聚合和传输，本文将介绍 Flume 的安装。​ 环境信息​ 操作系统：Centos 7.7​ JDK 版本： 1.8 (JDK 的安装方法可以参考这篇文章 JDK 安装)​ 工具： Xshell， Xftp下载与安装在 Flume 官网下载 Flume ： http://flume.apache.org/download.html下载