ElasticSearch学习之(十)-Logstash实现从ES同步数据到Mysql数据库

Logstash概述

       Logstash是一个具有实时管道功能的开源数据收集引擎，Logstash可以动态地将来自不同数据源的数据统一起来，并将数据规范化为所选择的目的地，清理和大众化所有数据，用于各种高级下游分析和可视化用例。虽然Logstash最初推动了日志收集方面的创新，但是它的功能远远超出了这个用例，任何类型的事件都可以通过大量的输入、过滤器和输出插件来丰富和转换，使用许多原生编解码可以进一步简化摄取过程。Logstash通过利用大量和多种数据来提高洞察力。

Logstash工作原理

logstash主要有三个核心环节：inputs → filters → outputs大致工作流程如下：

Input：输入数据到logstash。

一些常用的输入为：

• file：从文件系统的文件中读取，类似于tial -f命令；
• syslog：在514端口上监听系统日志消息，并根据RFC3164标准进行解析；
• redis：从redis service中读取；
• beats：从filebeat中读取；

Filters：数据中间处理，对数据进行操作。

一些常