ELK+Filebeat+SpringBoot搭建日志分析系统

最新推荐文章于 2025-06-24 17:17:08 发布
原创 最新推荐文章于 2025-06-24 17:17:08 发布 · 3.4k 阅读 · 13 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#elk #elasticsearch #docker

本文详细介绍如何使用Docker部署Elasticsearch、Kibana、Logstash及Filebeat，并指导如何配置SpringBoot日志以便输出至ELK栈，实现日志收集与可视化。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

ELK安装与启动

ElasticSearch安装

使用Docker进行安装

执行以下命令：

docker run \
--name elasticsearch \
-p 9200:9200 -p 9300:9300 \
-e  "discovery.type=single-node" \
-e ES_JAVA_OPTS="-Xms64m -Xmx2048m" \
-d elasticsearch:7.14.0

将容器内的配置文件拷贝到本地

拷贝的命令：
docker cp 容器名:容器中要拷贝的文件名及其路径 要拷贝到宿主机里面对应的路径

docker cp elasticsearch:/usr/share/elasticsearch/config/elasticsearch.yml /Users/runfa/Documents/program/Docker/elasticsearch/config/elasticsearch.yml
docker cp elasticsearch:/usr/share/elasticsearch/data /Users/runfa/Documents/program/Docker/elasticsearch/data
docker cp elasticsearch:/usr/share/elasticsearch/plugins /Users/runfa/Documents/program/Docker/elasticsearch/plugins

执行成功后在/Users/runfa/Documents/program/Docker/elasticsearch目录下能够看到以下三个文件夹
在这里插入图片描述

增加容器目录映射

删除原来安装的容器：

docker rm -f elasticsearch

重新执行启动命令：

docker run \
--name elasticsearch \
--privileged=true \
-p 9200:9200 -p 9300:9300 \
-e  "discovery.type=single-node" \
-e ES_JAVA_OPTS="-Xms64m -Xmx2048m" \
-v /Users/runfa/Documents/program/Docker/elasticsearch/config/elasticsearch.yml:/usr/share/elasticsearch/config/elasticsearch.yml \
-v /Users/runfa/Documents/program/Docker/elasticsearch/data:/usr/share/elasticsearch/data \
-v  /Users/runfa/Documents/program/Docker/elasticsearch/plugins:/usr/share/elasticsearch/plugins \
-d elasticsearch:7.14.0

执行成功后，在浏览器中输入输入http://localhost:9200/，如果有返回json格式的内容（如下图）则说明启动成功
在这里插入图片描述

Kibana启动

使用Docker进行安装

执行以下命令：

docker run 
--name kibana \
-p 5601:5601 \
-v /Users/runfa/Documents/program/Docker/kibana/config:/usr/share/kibana/config \
-d kibana:7.14.0

将容器内的配置文件拷贝到本地

拷贝的命令：
docker cp 容器名:容器中要拷贝的文件名及其路径 要拷贝到宿主机里面对应的路径

docker cp kibana:/usr/share/kibana/config /Users/runfa/Documents/program/Docker/kibana/config

执行成功后在/Users/runfa/Documents/program/Docker/kibana目录下能够看到config文件夹
在这里插入图片描述
进入config目录，修改kibana.yml配置文件
将elasticsearch.hosts的配置修改为elasticsearch地址
注意：如果是部署在本地，不能使用localhost，一定要配置ip，否则连接失败

# Default Kibana configuration for docker target
server.host: "0"
server.shutdownTimeout: "5s"
# 配置elasticsearch地址,如果是部署在本地,不能使用localhost,一定要配置ip,否则连接失败
elasticsearch.hosts: [ "http://192.168.43.176:9200" ]
monitoring.ui.container.elasticsearch.enabled: true

增加容器目录映射

删除原来安装的容器：

docker rm -f kibana

重新执行启动命令：

docker run 
--name kibana \
-p 5601:5601 \
--privileged=true \
-v /Users/runfa/Documents/program/Docker/kibana/config:/usr/share/kibana/config \
-d kibana:7.14.0

kibana的启动时间较长，需要耐心等待
待启动成功后，在浏览器中输入http://localhost:5601/，若能成功访问则说明启动成功
在这里插入图片描述

Logstash启动

使用Docker进行安装

执行以下命令：

docker run \
--name logstash \
--privileged=true \
-p 5044:5044 \
-p 9400:9400 \
-d logstash:7.14.0

将容器内的配置文件拷贝到本地

拷贝的命令：
docker cp 容器名:容器中要拷贝的文件名及其路径 要拷贝到宿主机里面对应的路径

docker cp logstash:/usr/share/logstash/config/ /Users/runfa/Documents/program/Docker/logstash/config
docker cp logstash:/usr/share/logstash/pipeline /Users/runfa/Documents/program/Docker/logstash/pipeline
docker cp logstash:/usr/share/logstash/data /Users/runfa/Documents/program/Docker/logstash/data
docker cp logstash:/usr/share/logstash/logs /Users/runfa/Documents/program/Docker/logstash/logs

执行成功后在/Users/runfa/Documents/program/Docker/logstash目录下能够看到以下几个文件夹
在这里插入图片描述
进入config目录，修改logstash.yml配置文件
注意：elasticsearch如果部署在本地，需要使用ip，不能使用localhost

node.name: logstash-203
http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.hosts: [ "http://192.168.43.176:9200" ]
# 日志格式 json/plain
log.format: json
# 日志文件目录配置
path.logs: /usr/share/logstash/logs

修改pipelines.yml配置文件
这个配置文件主要是配置输入、过滤和输出，这些部分均会由 Logstash 管道予以执行

- pipeline.id: main
  # 该配置会读取pipeline目录下所有的conf文件
  path.config: "/usr/share/logstash/pipeline/*.conf"

增加容器目录映射

删除原来安装的容器：

docker rm -f logstash

重新执行启动命令：

docker run \
--name logstash \
--privileged=true \
-p 5044:5044 \
-p 9400:9400 \
-v /Users/runfa/Documents/program/Docker/logstash/config/:/usr/share/logstash/config \
-v /Users/runfa/Documents/program/Docker/logstash/pipeline:/usr/share/logstash/pipeline \
-v /Users/runfa/Documents/program/Docker/logstash/data:/usr/share/logstash/data \
-v /Users/runfa/Documents/program/Docker/logstash/logs:/usr/share/logstash/logs \
-d logstash:7.14.0

执行以下命令，如果没有出现明显错误，则说明启动成功

docker logs -f logstash

使用Logstash将日志输出到Elasticsearch

创建conf文件

在前面配置映射到本地的pipeline目录（我的是/Users/runfa/Documents/program/Docker/logstash/pipeline）创建以下几个文件：

in-file.conf

该文件主要是配置Logstash输入来源，文件内容如下：

input {
	file{
		# 文件输入来源
		path => "/usr/share/logstash/data/test/test.json"
		# 使用json解析方式
		codec => json {
			charset => "UTF-8"
		}
		start_position => "beginning"
		# 文档类型
    type => "from_test"
	}
}
out-file.conf

该文件主要是配置Logstash输出方式，文件内容如下：

output {
    if [type] == "from_test"{
        #日志输出到控制台
        stdout {
            codec => rubydebug
        }
        #输出到es
        #无法解析的json不记录到elasticsearch中
        if "_jsonparsefailure" not in [tags] {
            elasticsearch {
                #es地址ip端口
                hosts => "192.168.43.176:9200"
                #索引
                index  => "logstash-test"
            }
        }
    }
}

创建输入来源文件

test.log

在前面配置映射到本地的data目录（我的是/Users/runfa/Documents/program/Docker/logstash/data）下创建test文件夹，然后再test文件夹下创建test.log，输入以下内容：
注意：该文件的内容不能进行格式化或分行，否则Logstash解析失败

{"name": "zhangsan", "age": 16, "email": "123@qq.com"}

验证是否成功输出到Elasticsearch

重新启动Logstash

执行以下命令：

docker restart logstash
监听Logstash日志输出

执行以下命令：

docker logs -f logstash

修改test.log，加多一行信息

{"name": "zhangsan", "age": 16, "email": "123@qq.com"}
{"name": "zhangsan", "age": 16, "email": "123@qq.com"}

如果看到控制台中输出以下信息，则证明test.log成功输入到Logstash

{
      "@version" => "1",
          "path" => "/usr/share/logstash/data/test/test.json",
          "host" => "b3f51af74fbe",
         "email" => "123@qq.com",
    "@timestamp" => 2021-10-28T09:18:50.002Z,
           "age" => 16,
          "type" => "from_test",
          "name" => "zhangsan111"
}
{
      "@version" => "1",
          "path" => "/usr/share/logstash/data/test/test.json",
          "host" => "b3f51af74fbe",
         "email" => "123@qq.com",
    "@timestamp" => 2021-10-28T09:18:50.002Z,
           "age" => 16,
          "type" => "from_test",
          "name" => "zhangsan111"
}

使用Kibana查看Logstash是否成功输出到Elasticsearch

输入http://localhost:5601打开Kibana管理页面，点击Management菜单下的Dev Tools
在这里插入图片描述
在这里插入图片描述
在左侧输入命令查询数据，Elastic的查询语法可以参考官方文档.

GET logstash-test/_search

如果查询到的hits的内容不为空（如下图），则证明logstash成功将数据输入到elasticsearch
在这里插入图片描述

SpringBoot整合Logstash

增加Logstash输入和输出conf配置

在本地pipeline目录下，创建以下输出配置文件：

in-logback.conf

配置来自Springboot logback的输入源

input {
    # TCP输入，Json格式编码UTF-8
    tcp {
      port => 9400
      codec => json {
        charset => "UTF-8"
      }
      # 文档类型
      type => "logback-logs"
    }
}
out-logerror.conf

error日志输出配置

output {
  if [level] == "ERROR"{
    stdout {
      codec => rubydebug
    }
    if [type] == "logback-logs"{
      elasticsearch {
        action => "index"
        # 这里是es的地址，多个es要写成数组的形式
        hosts  => "192.168.43.176:9200"
        # 用于kibana过滤
        index  => "springboot-logstash-logerror"
        # 超时时间
        timeout => 300
      }
    }
  }
}
out-logwarn.conf

warn日志输出配置

output {
  if [level] == "WARN"{
    stdout {
      codec => rubydebug
    }
    if [type] == "logback-logs"{
      elasticsearch {
        action => "index"
        # 这里是es的地址，多个es要写成数组的形式
        hosts  => "192.168.43.176:9200"
        # 用于kibana过滤
        index  => "springboot-logstash-logwarn"
        # 超时时间
        timeout => 300
      }
    }
  }
}
out-loginfo.conf

info日志输出配置

output {
  if [level] == "INFO"{
    stdout {
      codec => rubydebug
    }
    if [type] == "logback-logs"{
      elasticsearch {
        action => "index"
        # 这里是es的地址，多个es要写成数组的形式
        hosts  => "192.168.43.176:9200"
        # 用于kibana过滤
        index  => "springboot-logstash-loginfo"
        # 超时时间
        timeout => 300
      }
    }
  }
}

Springboot logback配置

本项目中使用Logback日志框架，Logback提供了将日志直接输出到Logstash的功能，只需要在logback-spring.xml中添加与logstash相关的appender配置即可。

logback-spring.xml

在resource目录下创建logback-spring.xml文件

<?xml version="1.0" encoding="UTF-8"?>
<!-- 日志级别从低到高分为TRACE < DEBUG < INFO < WARN < ERROR < FATAL，如果设置为WARN，则低于WARN的信息都不会输出 -->
<!-- scan:当此属性设置为true时，配置文件如果发生改变，将会被重新加载，默认值为true -->
<!-- scanPeriod:设置监测配置文件是否有修改的时间间隔，如果没有给出时间单位，默认单位是毫秒。当scan为true时，此属性生效。默认的时间间隔为1分钟。 -->
<!-- debug:当此属性设置为true时，将打印出logback内部日志信息，实时查看logback运行状态。默认值为false。 -->
<configuration scan="true" scanPeriod="60 seconds">

    <!--<include resource="org/springframework/boot/logging/logback/base.xml" />-->

    <contextName>logback</contextName>
    <!-- 彩色日志 -->
    <!-- 彩色日志依赖的渲染类 -->
    <conversionRule conversionWord="clr" converterClass="org.springframework.boot.logging.logback.ColorConverter"/>
    <conversionRule conversionWord="wex"
                    converterClass="org.springframework.boot.logging.logback.WhitespaceThrowableProxyConverter"/>
    <conversionRule conversionWord="wEx"
                    converterClass="org.springframework.boot.logging.logback.ExtendedWhitespaceThrowableProxyConverter"/>

    <!--从SpringBoot配置文件读取项目名，环境，以及logstash地址-->
    <springProperty scope="context" name="springAppName" source="spring.application.name"/>
    <springProperty scope="context" name="springProfile" source="spring.profiles.active"/>
    <springProperty scope="context" name="logstashAddress" source="logging.logstash.address"/>

    <!-- name的值是变量的名称，value的值时变量定义的值。通过定义的值会被插入到logger上下文中。定义变量后，可以使“${}”来使用变量。 -->
    <property name="log.path" value="log"/>
    <!-- 彩色日志格式 -->
    <property name="CONSOLE_LOG_PATTERN"
              value="${CONSOLE_LOG_PATTERN:-%clr(%d{yyyy-MM-dd HH:mm:ss.SSS}){faint} %clr([%X{traceId}]){cyan} %clr([%X{eventId}]){blue} %clr(${LOG_LEVEL_PATTERN:-%5p}) %clr(${PID:- }){magenta} %clr(---){faint} %clr([%15.15t]){faint} %clr(%-40.40logger{39}){cyan} %clr(:){faint} %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}}"/>
    <property name="FILE_PATTERN"
              value="[${springAppName:-}] [${springProfile:-}] %d{yyyy-MM-dd'T'HH:mm:ss.SSSZ} [%X{traceId}] [%thread] %-5level %logger{50} - %msg%n"/>

    <!--配置ERROR输出到logstah-->
    <appender name="LOGSTASH_ERROR" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
    	<!--配置logstash地址-->
        <destination>${logstashAddress}</destination>
        <!--日志文件输出格式-->
        <encoder class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">
            <providers>
                <timestamp>
                    <!--<fieldName>timestamp</fieldName>
                    <pattern>yyyy-MM-dd'T'HH:mm:ss.SSS</pattern>
                    <timeZone>GMT+8</timeZone>-->
                </timestamp>
                <pattern>
                    <pattern>
                        {
                            <!--设置项目-->
                            "app": "${springAppName:-}",
                            <!--设置环境-->
                            "profile": "${springProfile:-}",
                            <!--设置等级-->
                            "level": "%level",
                            <!--设置traceId-->
                            "traceId": "%X{traceId}",
                            <!--设置类名-->
                            "class": "%c",
                            <!--设置方法名-->
                            "method": "%M",
                            <!--设置消息-->
                            "msg": "%msg",
                            <!--设置输出日期-->
                            "dateTime": "%date{yyyy-MM-dd'T'HH:mm:ss.SSSZ}"
                        }
                    </pattern>
                </pattern>
            </providers>
        </encoder>
        <!-- 此日志文件只记录ERROR级别的 -->
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <level>ERROR</level>
            <onMatch>ACCEPT</onMatch>
            <onMismatch>DENY</onMismatch>
        </filter>
    </appender>

    <!--配置WARN输出到logstah-->
    <appender name="LOGSTASH_WARN" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
    <!--配置logstash地址-->
        <destination>${logstashAddress}</destination>
        <!--日志文件输出格式-->
        <encoder class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">
            <providers>
                <pattern>
                    <pattern>
                        {
                            <!--设置项目-->
                            "app": "${springAppName:-}",
                            <!--设置环境-->
                            "profile": "${springProfile:-}",
                            <!--设置等级-->
                            "level": "%level",
                            <!--设置traceId-->
                            "traceId": "%X{traceId}",
                            <!--设置类名-->
                            "class": "%c",
                            <!--设置方法名-->
                            "method": "%M",
                            <!--设置消息-->
                            "msg": "%msg",
                            <!--设置输出日期-->
                            "dateTime": "%date{yyyy-MM-dd'T'HH:mm:ss.SSSZ}"
                        }
                    </pattern>
                </pattern>
            </providers>
        </encoder>
        <!-- 此日志文件只记录WARN级别的 -->
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <level>WARN</level>
            <onMatch>ACCEPT</onMatch>
            <onMismatch>DENY</onMismatch>
        </filter>
    </appender>

    <!--配置INFO输出到logstah-->
    <appender name="LOGSTASH_INFO" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
    	<!--配置logstash地址-->
        <destination>${logstashAddress}</destination>
        <!--日志文件输出格式-->
        <encoder class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">
            <providers>
                <pattern>
                    <pattern>
                        {
                            <!--设置项目-->
                            "app": "${springAppName:-}",
                            <!--设置环境-->
                            "profile": "${springProfile:-}",
                            <!--设置等级-->
                            "level": "%level",
                            <!--设置traceId-->
                            "traceId": "%X{traceId}",
                            <!--设置类名-->
                            "class": "%c",
                            <!--设置方法名-->
                            "method": "%M",
                            <!--设置消息-->
                            "msg": "%msg",
                            <!--设置输出日期-->
                            "dateTime": "%date{yyyy-MM-dd'T'HH:mm:ss.SSSZ}"
                        }
                    </pattern>
                </pattern>
            </providers>
        </encoder>
        <!-- 此日志文件只记录INFO级别的 -->
        <filter class="ch.qos.logback.classic.filter.LevelFilter">
            <level>INFO</level>
            <onMatch>ACCEPT</onMatch>
            <onMismatch>DENY</onMismatch>
        </filter>
    </appender>

    <!--
        <logger>用来设置某一个包或者具体的某一个类的日志打印级别、
        以及指定<appender>。<logger>仅有一个name属性，
        一个可选的level和一个可选的addtivity属性。
        name:用来指定受此logger约束的某一个包或者具体的某一个类。
        level:用来设置打印级别，大小写无关：TRACE, DEBUG, INFO, WARN, ERROR, ALL 和 OFF，
              还有一个特俗值INHERITED或者同义词NULL，代表强制执行上级的级别。
              如果未设置此属性，那么当前logger将会继承上级的级别。
        addtivity:是否向上级logger传递打印信息。默认是true。
    -->
    <!--<logger name="org.springframework.web" level="info"/>-->
    <!--<logger name="org.springframework.scheduling.annotation.ScheduledAnnotationBeanPostProcessor" level="INFO"/>-->
    <!--开发环境:打印控制台-->
    <springProfile name="dev">
        <logger name="org.springframework.web" level="debug"/>
    </springProfile>

    <!--
        root节点是必选节点，用来指定最基础的日志输出级别，只有一个level属性
        level:用来设置打印级别，大小写无关：TRACE, DEBUG, INFO, WARN, ERROR, ALL 和 OFF，
        不能设置为INHERITED或者同义词NULL。默认是DEBUG
        可以包含零个或多个元素，标识这个appender将会添加到这个logger。
    -->
    <!--
            使用mybatis的时候，sql语句是debug下才会打印，而这里我们只配置了info，所以想要查看sql语句的话，有以下两种操作：
            第一种把<root level="info">改成<root level="DEBUG">这样就会打印sql，不过这样日志那边会出现很多其他消息
            第二种就是单独给dao下目录配置debug模式，代码如下，这样配置sql语句会打印，其他还是正常info级别：
     -->
    <root level="info">
        <appender-ref ref="LOGSTASH_ERROR"/>
        <appender-ref ref="LOGSTASH_WARN"/>
        <appender-ref ref="LOGSTASH_INFO"/>
    </root>

</configuration>
application.yml

除了配置spring-logback.xml，还需要配置application.xml

spring:
  application:
    # 项目名称启动时传入，写入ELK通过app名称进行隔离
    name: elk-demo
  profiles:
    # 启动环境，ELK隔离通过profile属性隔离dev以及prod
    active: dev

server:
  port: 8080
logging:
  # 日志文件地址
  config: classpath:logback-spring.xml
  # 配置Logstash地址
  logstash:
    address: localhost:9400
  level:
    root: info
启动验证

使用以下命令监听logstash输出日志

docker logs -f logstash

启动SpringBoot项目，如果logstash日志中有输出以下信息，证明SpringBoot日志输出到logstash成功

{
         "class" => "com.example.zrf.ElkDemoApplication",
      "dateTime" => "2021-10-29T11:43:22.474+0800",
      "@version" => "1",
           "msg" => "Started ElkDemoApplication in 5.208 seconds (JVM running for 6.385)",
       "profile" => "dev",
    "@timestamp" => 2021-10-29T03:43:22.494Z,
       "traceId" => "",
          "type" => "logback-logs",
           "app" => "elk-demo",
          "port" => 62230,
         "level" => "INFO",
        "method" => "?",
          "host" => "gateway"
}

使用Kibana可视化日志数据

创建索引模式

作用：主要是用来匹配满足索引模式的数据，供后续过滤日志数据。
操作步骤：打开菜单->打开Management->打开Stack Management->找到Kibana->打开Index Patterns->点击Create Index Pattern
注意：如果Elasticsearch中没有数据，则该页面不会显示Create Index Pattern。此时需要检查Logstash数据是否成功输出到Elasticsearch
在这里插入图片描述
如下输入匹配日志索引的匹配格式，点击下一步。
在这里插入图片描述
选择时间字段，TCP方式Logstash推送日志后会自动生成@timestamp，选择@timestamp即可，点击创建索引模式。
在这里插入图片描述

使用日志视图

打开日志视图

在创建完索引模式后，可以在日志视图中使用创建的索引过滤数据。
操作步骤：打开菜单->点击Discover
在这里插入图片描述
点击下拉框选择创建的索引匹配器，时间范围选择最近15小时，即可打开日志视图。
在这里插入图片描述

日志筛选

点击Add filter->选择level字段->选择运算符is->Value值填写为ERROR
在这里插入图片描述
点击Save保存后即可查询出所有level为INFO的日志。
在这里插入图片描述

查看指定字段

点击msg->点击添加
在这里插入图片描述
点击点击后查看的结果如下：
在这里插入图片描述

日期时间格式化

在前面日志视图中时间字段的显示格式为YYYY-MM-DD HH:mm:ss.SSS，如果不是这种格式的需要进行配置。
操作步骤：打开菜单->点击Stack Management->找到Kibana->点击Advanced Settings
在这里插入图片描述
找到dateFormat，输入YYYY-MM-DD HH:mm:ss.SSS
在这里插入图片描述
点击Save changes保存后回到日志视图，即可看到时间字段已经按照YYYY-MM-DD HH:mm:ss.SSS的格式进行格式化。

Dev Tools工具使用

Kibana提供了Dev Tools控制台，能够让我们很方便的使用Elasticsearch命令进行查询。
操作步骤：打开菜单->找到Management->点击Dev Tools
在这里插入图片描述
进入到控制台后可以在左边输入命令进行查询，例如查询springboot-logstash-loginfo索引下的所有数据。Elasticseaerch其他查询命令可以参考官网教程.
在这里插入图片描述

Filebeat启动

使用Docker进行安装

执行以下命令：

docker run \
--name filebeat \
--privileged=true \
-d elastic/filebeat:7.14.0

将容器内的配置文件拷贝到本地

拷贝的命令：
docker cp 容器名:容器中要拷贝的文件名及其路径 要拷贝到宿主机里面对应的路径

docker cp filebeat:/usr/share/filebeat/filebeat.yml /Users/runfa/Documents/program/Docker/filebeat/filebeat.yml
docker cp logstash:/var/logs /Users/runfa/Documents/program/Docker/filebeat/logs

执行成功后在/Users/runfa/Documents/program/Docker/logstash目录下能够看到以下几个文件
在这里插入图片描述

修改filebeat.yml配置文件

filebeat.config:
  modules:
    path: ${path.config}/modules.d/*.yml
    reload.enabled: false

filebeat.inputs:
  - type: log
    enabled: true
    paths:
      - /var/logs/*.log

processors:
  - drop_fields:
      # 指定需要忽略输出的字段
      fields: ["ecs", "agent", "input",  "tags", "host", "log"]
      ignore_missing: false

output.logstash:
  hosts: ["192.168.43.176:5044"]
  indices:
    - index: "springboot-filebeat-logs"

filebeat会读取logs目录下相关的日志文件然后输出到logstash，这里以log-error.log为例进行说明。
在logs目录下创建log-error.log，里面的内容如下：

[elk-demo] [dev] 2021-10-14T11:09:27.237+0800 [0f7cf006e04642c5bd8a25a0587a2ca8] [http-nio-8080-exec-1] ERROR com.example.zrf.controller.TestController - error...
[elk-demo] [dev] 2021-10-14T11:09:27.238+0800 [0f7cf006e04642c5bd8a25a0587a2ca8] [http-nio-8080-exec-1] ERROR com.example.zrf.controller.TestController - LJEN500:交易失败,失败原因:网络不稳定

增加容器目录映射

删除原来安装的容器：

docker rm -f logstash

重新执行启动命令：

docker run \
--name filebeat \
--privileged=true \
-v /Users/runfa/Documents/program/Docker/filebeat/filebeat.yml:/usr/share/filebeat/filebeat.yml \
-v /Users/runfa/Documents/program/Docker/filebeat/logs:/var/logs \
-d elastic/filebeat:7.14.0

执行以下命令，如果没有出现明显错误，则说明启动成功

docker logs -f logstash

filebeat输出到logstash

在确保filebeat、logstash、elasticsearch和kibana启动成功后，在log-error.log文件中增加一行日志。

[elk-demo] [dev] 2021-10-14T11:09:27.237+0800 [0f7cf006e04642c5bd8a25a0587a2ca8] [http-nio-8080-exec-1] ERROR com.example.zrf.controller.TestController - error...
[elk-demo] [dev] 2021-10-14T11:09:27.238+0800 [0f7cf006e04642c5bd8a25a0587a2ca8] [http-nio-8080-exec-1] ERROR com.example.zrf.controller.TestController - LJEN500:交易失败,失败原因:网络不稳定
[elk-demo] [dev] 2021-10-14T11:09:27.238+0800 [0f7cf006e04642c5bd8a25a0587a2ca8] [http-nio-8080-exec-1] ERROR com.example.zrf.controller.TestController - LJEN500:交易失败,失败原因:网络不稳定

此时可以看到logstash控制台的输出结果如下：

{
    "@timestamp" => 2021-11-01T06:34:47.494Z,
          "type" => "filebeat-logs",
       "message" => "[elk-demo] [dev] 2021-10-14T11:09:27.237+0800 [0f7cf006e04642c5bd8a25a0587a2ca8] [http-nio-8080-exec-1] ERROR com.example.zrf.controller.TestController - error...",
      "@version" => "1",
          "tags" => [
        [0] "beats_input_codec_plain_applied"
    ]
}

可以看到log-error.log中的信息全部包装在了message字段里，我们可以写一个filter配置对message字段进行解析，同时在解析玩后对该字段进行移除。
在logstash映射到本地的pipeline文件夹（如果不知道是哪个文件夹请参考Logstash启动章节）中创建filter.conf文件，在该文件中添加以下配置信息：

filter {
  # 过滤来自filebeat的日志
  if[type]  == "filebeat-logs"{
    grok {
      # 筛选过滤从filebeat输入的message
      match => {
        "message" => "%{GREEDYDATA:app} %{GREEDYDATA:profile} (?<dateTime>\d{4}-\d{2}-\d{2}\w\d{2}:\d{2}:\d{2}.\d{3}\+\w{4}) %{GREEDYDATA:traceId} %{GREEDYDATA:thread} %{LOGLEVEL:level} %{GREEDYDATA:class} - %{GREEDYDATA:msg}"
      }
      # 移除输出的字段
      remove_field => ["message"]
    }
  }
  # 不匹配正则则删除，匹配正则用=~
  if [level] !~ "(ERROR|WARN|INFO)" {
      # 删除日志
      drop {}
  }
}

注：

  • filter 主要用来过滤日志文件处理成我们需要的数据
  • grok 解析文本并构造 把非结构化日志数据通过正则解析成结构化和可查询化，具体的配置可以参考链接.

备注:
官方提供了很多正则的grok pattern可以直接使用: :https://github.com/logstash-plugins/logstash-patterns-core/blob/master/patterns

grok debug工具: http://grokdebug.herokuapp.com

正则表达式调试工具: https://www.debuggex.com/

grok 里边有定义好的现场的模板你可以用，但是更多的是自定义模板。
规则是这样的，小括号里边包含所有一个key和value，例子：（?<key>value），比如以下的信息，第一个我定义的key是data，表示方法为：?<key> 前边一个问号，然后用<>把key包含在里边去。value就是纯正则了，这个我就不举例子了。这个有个在线的调试库，可以供大家参考，
http://grokdebug.herokuapp.com/

在这里插入图片描述

Filebeat7.17收集SpringBoot应用k8s容器日志
xiongmao0304的博客
11-07 1812
Filebeat+Kafka2.8+ELK7.17收集SpringBoot应用k8s容器日志 应用场景：springboot应用通过Deployment方式部署到k8s集群中，收集springboot应用日志。 关键实现点：在filebeat配置文件中，通过template+condition方式，对k8s namespace进行过滤；根据namespace将采集的日志发送到kafka的不同topic；通过processors:script对采集的kubernetes信息进行聚合。
ELK + Filebeat + Spring Boot：日志分析入门与实践（二）
孟林洁的博客
10-29 1206
Filebeat高效地采集本地项目日志，随后通过Logstash进行深度解析与格式化处理，再将处理后的日志数据上传至Elasticsearch进行高效存储与索引。的权限中移除组（group）和其他用户（others）的写（write）权限，于提高文件的安全性，防止未经授权的修改。问题：这里我的Grok配置一直未生效，后面发现是项目中logback.xml配置了高亮。如果输出到es，注意配置具有写权限的用户，否则报错401，参考上篇文章。有些特殊字符用“\”进行转移，空格比较严谨，如果未匹配要检查空格。
ELK整合实战，filebeat和logstash采集SpringBoot项目日志发送至ES
qq_44027353的博客
08-16 2669
但此时，我们并没有开启并配置Logstash，所以FileBeat是无法连接到Logstash的。默认字段经过date插件处理后，会输出到@timestamp字段，所以，我们可以通过修改target属性来重新定义输出字段。例如：时间、日志级别、哪个类打印的日志、日志具体内容。在Logstash中可以配置过滤器Filter对采集到的数据进行过滤处理，Logstash中有大量的插件可以供我们使用。但注意，要在index中使用时间格式化，filter的输出必须包含 @timestamp字段，否则将无法解析日期。
Spring Boot 日志平台 ELK + Filebeat 入门
weixin_42073629的博客
06-16 2141
1. 概述 在《芋道 Spring Boot 日志集成 Logging 入门》文章中，我们学习了 Spring Boot 如何集成并使用日志框架，进行日志的打印。 友情提示：对于本文来说，即使胖友未阅读过《芋道 Spring Boot 日志集成 Logging 入门》文章，也毫无影响，不要慌~ 不过正如我们在文末所说，在生产环境下，我们会集群部署我们的应用。那么我们可能需要登陆多台服务器，查看不用应用节点下的日志，这样会非常不方便。 所以，本文我们就一起来，使用 ELK + Filebeat 组
elk+filebeat收集springboot项目日志
最新发布
DN金猿的博客
06-24 988
摘要：本文介绍了使用ELK堆栈(Elasticsearch、Logstash、Kibana)和Filebeat收集Spring Boot日志的完整流程。首先安装配置Elasticsearch作为数据存储，然后可选配置Logstash进行日志预处理，接着通过Filebeat采集日志文件并发送至Elasticsearch，最后安装Kibana进行日志可视化和分析。文章详细说明了每个组件的安装步骤和配置文件设置，包括索引模式的创建，帮助开发者快速搭建日志收集系统。
Springboot + docker + ELK +Filebeat实现日志收集与展示
皮卡丘的情绪
05-11 7205
文章目录1、ELKB架构2、本机环境3、ELKB环境搭建3.1、创建自定义网络3.2、elasticsearch环境配置3.2.1、创建elasticsearch目录3.2.2、配置elasticsearch.yml文件3.3、Kibana环境配置3.3.1、创建kibana目录3.3.2、kibana.yml文件配置3.4、Logstash配置3.4.1、Logstash目录创建3.4.2、logstash.yml和logstash.conf文件配置3.5、Filebeat配置3.5.1、Filebeat
Springboot/Springcloud整合ELK平台，（Filebeat方式）日志采集及管理（Elasticsearch+Logstash+Filebeat+Kibana）
weixin_43627706的博客
04-27 8542
前言 最近在搞一套完整的云原生框架，详见 spring-cloud-alibaba专栏，目前已经整合的log4j2，但是想要一套可以实时观察日志的系统，就想到了ELK，然后上一篇文章是socket异步发送给logstash，logstash再输出到elasticsearch索引库中。 logstash是java应用，解析日志是非的消耗cpu和内存，logstash安装在应用部署的机器上显得非常的笨重。最常见的做法是用filebeat部署在应用的机器上，logstash单独部署，然后由filebeat将日志输
ELK + Filebeat + Kafka 分布式日志管理平台搭建
2301_82242204的博客
04-23 969
在部署的过程中可能会遇到各种情况，此时根据日志说明都可以百度处理（如部署的过程中不能分配内存的问题）。如果完成后如果数据显示不了，可以先到根据工作流程到各个节点查询数据是否存储和传输成功。如查询filebeat是否成功把数据传输到了kafka，可以进入kafka容器当中使用kafka中如下命令查询：查看日志filebeat中的数据是否正常在kafka中存储。
ELK+filebeat+kafka日志收集
qq_39239712的博客
03-27 1017
我们主要完成在Docker环境下部署 Filebeat 日志收集工具，他是搭建ELK日志非常重要的一部分，我们利用Filebeat日志收集完成之后，将数据写入 Elasticsearch 后用 Kibana 进行可视化展示，目前我们已经完成了Fliebeat + Es +Kibana部分。
基于docker搭建单机版ELK+filebeat+kafka
qq_40969452的博客
03-26 3674
上一节写了最简单架构的搭建和日志采集：传送门 主要有这几种架构方式 1. Elasticsearch + Logstash + Kibana 每台机器（客户端）上部署Logstash，logstash收集了数据直接往es里面写，es分析日志，kibana查询es的数据做展示。 这是一种最简单的架构。这种架构虽然是官网介绍里的方式，但是往往在生产中很少使用。因为这样要在每台机器上都部署logstash，资源消耗比较大。 2. Elasticsearch + Logstash + filebeat +
filebeat自定义收集springboot日志
南角影
08-02 9866
springboot-fek 目标 单点安装filebeat -> elasticsearch -> kibana 解析spring boot 日志 FEK方式，日志收集使用filebeat收集springboot日志文件信息，发送至es。 环境 服务器列表 192.168.1.10 filebeat 192.168.1.11 kibana elaticsearch 软件环境 j...
ELK日志分析系统-filebeat
10-19
ELK日志分析系统中的filebeat插件包，提供最新版本5.2
debj_SpringBoot_ELK+Kafka_resources.zip
06-24
SpringBoot 整合 ELK+Kafka 所需镜像及 docker-compose.yml 集合打包，用于提供某篇文章中所提及的 Ubuntu 镜像资源
filebeat+kafka+clickhouse+springboot框架搭建及应用
Dcj695632854的博客
07-18 1413
提前准备好kafka、clickhouse环境。
ELK6.8版本整合filebeat和kafka收集springboot日志
ffyyhh995511的专栏
12-26 2464
一、系统流程图 二、统一springboot的日志格式 <!--最新的格式，以[]包装--> 方便logstash 已中括号过滤用 <appender name="consoleAppender" class="ch.qos.logback.core.ConsoleAppender"> <encoder class="ch.qos.logback.cla...
使用filebeat收集并解析springboot日志
go4it
08-05 1264
本文主要研究一下如何使用filebeat收集并解析springboot日志。
ELK+fileBeat搭建springboot日志系统 docker-compose方式
wzwwzwwww的博客
07-15 895
这里详细讲解fileBeat的搭建docker-compose方式,以docker容器名称为索引动态创建到ES，此方式收集的是所有docker容器的日志，和项目中配置的日志文件输出没多大关系，将自己都项目A和B和C等等，以容器化方式部署即可动态以部署的容器名称为索引创建收集至ES。其中ELK的docker-compose方式搭建参考上篇文章。一定要user“root”加这个，不然启动报错权限不够。配置文件的格式一定要严格检查，否则可能会报错。......
SpringBoot+FileBeat+ELK8.x版本收集日志
今天又是充满希望的一天
11-02 1296
SpringBoot+FileBeat+ELK8.x版本收集日志
springboot + logback + filebeat + elk 实现分布式日志中心
iMChenJiaMing的博客
05-01 4422
前言：本文主要介绍docker搭建elk分布式日志平台，利用filebeat监听logback日志文件，传输到elk中，最终在kibana渲染展示。 主要思路：filebeat监听日志文件的变化，传输到logstash，logstash通过分析提取，将日志信息推送到elasticsearch指定索引中，最终kibana从elasticsearch索引中查询并展示日志信息。 一、docker搭建elk日志平台（v7.6.1） 1.1、准备镜像 docker pull docker.elastic.
Springboot集成ELK实现日志分析与采集
资源摘要信息: "ELK的Springboot 程序与log4j2输出log,Filebeat采集log" ELK Stack是一组功能强大的日志分析工具，包括Elasticsearch、Logstash和Kibana。它们共同工作，提供了从数据捕获、索引到数据可视化和分析...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值