ELK 日志采集框架（五）：Logstash安装与配置

本文链接：https://blog.csdn.net/qq_15769939/article/details/116462003

本文详细介绍了Logstash的安装、配置以及使用，包括如何配置日志输入、过滤和输出，以实现从Kafka消费日志数据并发送到Elasticsearch。Logstash作为一个数据流引擎，能够处理各种类型的数据，例如日志、文件、指标等，通过自定义配置文件，可以灵活处理不同格式的日志，如multiline插件处理堆栈式信息。此外，还展示了如何调整工作线程数以提高性能，并提供了启动Logstash的命令。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1 资源

资源信息	版本号	备注
服务器	Centos7	IP: 192.168.51.4
logstash	7.4.2	IP: 192.168.51.4

2 介绍

Logstash 是一个数据流引擎：

它是用于数据物流的开源流式 ETL（Extract-Transform-Load）引擎
在几分钟内建立数据流管道
具有水平可扩展及韧性且具有自适应缓冲
不可知的数据源
具有200多个集成和处理器的插件生态系统
使用 Elastic Stack 监视和管理部署

Logstash 几乎可以摄入各种类别的数据：

在这里插入图片描述

它可以摄入日志，文件，指标或者网路真实数据。经过 Logstash 的处理，变为可以使用的 Web Apps 可以消耗的数据，也可以存储于数据中心，或变为其它的流式数据。

在这里插入图片描述

Logstash 可以很方便地和 Beats一起合作，这也是被推荐的方法
Logstash 也可以和那些著名的云厂商的服务一起合作处理它们的数据
它也可以和最为同样的信息消息队列，比如 redis 或 kafka 一起协作
Logstash 也可以使用 JDBC 来访问 RDMS 数据
它也可以和 IoT 设备一起处理它们的数据
Logstash 不仅仅可以把数据传送到 Elasticsearch，而且它还可以把数据发送至很多其它的目的地，并作为它们的输入源做进一步的处理

附上官网地址：https://www.elastic.co/cn/logstash

3 安装与配置

3.1 安装

logstash单机版的安装，可参考博文：

ES Logstash安装以及数据同步配置：https://blog.csdn.net/qq_15769939/article/details/115023530

3.2 配置

3.2.1 配置文件说明

## conf下配置文件说明：
# logstash配置文件：/config/logstash.yml
# JVM参数文件：/config/jvm.options
#  日志格式配置文件：log4j2.properties
#  制作Linux服务参数：/config/startup.options

3.2.2 自定义线程数

[root@localhost software]# vim /usr/local/logstash-7.4.2/config/logstash.yml
## 增加workers工作线程数 可以有效的提升logstash性能
pipeline.workers: 16

3.3.3 自定义配置

[root@localhost software]# cd /usr/local/logstash-7.4.2/
[root@localhost logstash-7.4.2]# mkdir script
[root@localhost logstash-7.4.2]# cd script
[root@localhost script]# vim logstash-script.conf

## multiline 插件也可以用于其他类似的堆栈式信息，比如 linux 的内核日志。
input