Logstash是一个开源的数据收集引擎,具有实时管道功能,能够从多个来源捕获、转换和输出数据。它基于可插拔架构,支持200多个插件,允许用户灵活地选择输入、过滤和输出插件,以满足特定的数据处理需求。Logstash的主要功能和应用场景包括:
1、数据收集:Logstash可以从各种来源(如日志文件、网络、数据库等)收集数据。
2、数据转换:通过使用Grok、Date等过滤器,Logstash可以对收集的数据进行解析和转换,提取出有用的信息。
3、数据输出:Logstash可以将处理后的数据输出到不同的目的地,如Elasticsearch、文件、数据库等。
Logstash的配置非常灵活,可以通过单一配置文件或多个配置文件来定义数据处理流程。它支持持久化队列,当硬盘空间有限时,可以通过配置持久化队列的容量大小来管理队列的存储。当队列达到容量上限时,Logstash会通过控制输入插件产生事件的频率或拒绝接收新的输入事件,以防止队列溢出。
一、Logstash下载安装
1、下载地址 Download Logstash Free | Get Started Now | Elastic
集成logstash工具,要求elasticsearch、kibana、logstash版本必须一直;前两篇文章我们使用的版本是8.14.1,所以logstash也必须是8.14.1。我们选择右手红框内的“view past releases”,选择历史版本8.14.1,如下图所示:
选择红框内的Logstash 8.14.1版本,点击“Download”下载文件
二、安装部署
1、上传文件至centOS系统,并解压
解压命令: tar -zxvf logstash-8.14.1-linux-x86_64.tar.gz
2、解压目录
3、启动测试
(1)带参启动,使用-e命令
bin/logstash -e "input{ stdin{} } output{ stdout{} }"
该命令由键盘输入,屏幕显示,截图如下:
(2)从配置文件启动,使用-f命令
bin/logstash -f config/logstash-mysql.conf
该配置从mysql读取数据,存储在elasticsearch中
配置文件如下: