企业级日志中心(ELK)

一、基础概念

随着用户系统规模的增大以及时间的积累，用户系统产生的日志将会越来越多，对日志的管理和查询就可以使用 ELK 以及 Kafka 来实现日志数据采集，处理最终存储到移动云 Elasticsearch 中，并可以通过 Kibana 连接 Elasticsearch 来实现对日志数据的搜索和可视化的展示。

• Filebeat：一个轻量级开源日志文件数据搜集器，用来收集日志的，因为原来收集日志的工具Logstash是java开发的，占用资源过多，影响性能会对服务器产生压力影响性能，
• Kafka:数据缓冲队列，作为消息队列解耦了处理过程，同时提高了可扩展性，具有削峰处理能力。
• Logstash:主要用来日志的搜集、分析、过滤日志。可以用它去搜集日志、转换日志、解析日志并将他们作为数据提供给其他模块调用，例如搜索，存储等
• Elasticsearch: 是一个级域lucene的搜索服务器，提供搜集、分析、存储数据三大功能，它提供了一个分布式多用户能力的全文搜索引擎
• Kibana：用于展示，将存储在es中的索引数据转化为各种图标，为用户提供强大的数据可视化支持

安装版本

filebeat-7.4.0-linux-x86_64.tar.gz
elasticsearch-7.4.0-linux-x86_64.tar.gz
kibana-7.4.0-linux-x86_64.tar.gz
logstash-7.4.0.tar.gz
kafka_2.12-2.3.0.tgz
软件分享链接
通过百度网盘分享的文件：EFK
链接：https://pan.baidu.com/s/15loB80kETOqqo_q6Bb9qCg?pwd=aura
提取码：aura

二、filebeat安装配置

1.把filebeat包传至想要收集日志的应用机器上，解压到指定目录

#将filebeat包解压到指定目录
tar -xzf filebeat-7.4.0-linux-x86_64.tar.gz -C /opt/app
改名
mv filebeat-7.4.0 filebeat
2.修改filebeat.yml
#进入配置文件目录
cd /opt/app/filebeat

修改filebeat.yml

filebeat.inputs:
- type: log
  enabled: true
  paths:
     - /opt/applog/ldp/daily.log  # 采集日志的路径
  fields:
    log_topic: "test-ldp"　　　　　# topic名字 
  multiline.pattern: ^\[
  multiline.negate: true
  multiline.match: after
# 输出到kafka
output.kafka:
  hosts: ["xxx.xxx.xxx.xxx:9092"]     #kafka服务器ip
  topic: '%{[fields][log_topic]}'
# 启动filebeat（前提：filebeat安装机器与安装kafka的机器网络层相通）
cd /opt/app/filebeat
nohup ./filebeat -e -c filebeat.yml > /opt/applog/filebeat.log &

# 如果启动日志出现Failed to connect to broker vm-vmwxxx-app:9092: dial tcp: lookup vm-vmwxxx-app on [::1]:53: read udp [::1]:33342->[::1]:53: read: connection refused
# 解决方法
切换到root用户执行：vi /etc/hosts
在文件末尾添加部署kafka机器的IP与主机名即可

三、kafka的安装配置

1.解压安装包到指定目录

启动kafka需要提前安装jdk环境

# 解压文件并改名
tar -xzf kafka_2.12-2.3.0.tgz -C /DATA/elk
mv kafka_2.12-2.3.0 kafka
# 修改kafka配置
cd /DATA/elk/kafka/config
vi server.properties

broker