云计算之ELK部署应用

最新推荐文章于 2024-05-08 07:30:00 发布
最新推荐文章于 2024-05-08 07:30:00 发布
阅读量259 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 云计算之开发之路
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mx_steve/article/details/92798784
本文介绍了ELK集群的搭建与使用，包括环境准备，如准备服务器、搭建网络yum源等。详细阐述了elasticsearch、kibana和logstash的安装、配置与使用，如elasticsearch的数据增删改查，kibana的数据导入与查询、页面配置，logstash的输入输出模块及过滤器插件使用等。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

ELK 集群

1.ELK介绍

    1. ELK 不是一款软件，而是一整套解决方案，是 三个软件产品的首字母缩写

– Elasticsearch：负责日志检索和储存
– Logstash：负责日志的收集和分析、处理
– Kibana：负责日志的可视化

    2. ELK组件在海量日志系统的运维中，可用于解决：

– 分布式日志数据集中式查询和管理
– 系统监控，包含系统硬件和应用各个组件的监控
– 故障排查
– 安全信息和事件管理
– 报表功能

    3.分布式集群的优点

-  IO提高了
-  存储空间变大

2.  环境准备

  1. 准备6台centos7 x86_64为的服务器，配置主机名和ip地址，并写入/etc/hosts配置文件中
192.168.1.110   es01
192.168.1.112   es02
192.168.1.113   es03
192.168.1.114   es04
192.168.1.115   es05
192.168.1.116   es06

     2.  搭建网络yum源

                   192.168.1.254 /var/ftp/elk/放入elk需要的所有软件包，并生成yum源

                   vim /etc/yum.repos.d/dvd.repo [6台]                           

[dvd]
name=centos7
baseurl=ftp://192.168.1.254/CentOS7
enabled=1
gpgcheck=1
[dvd-elk]
name=centos7-elk
baseurl=ftp://192.168.1.254/elk
enabled=1
gpgcheck=0

    3.  es0[1-6]安装java-1.8.0-openjdk

 yum –y install java-1.8.0-openjdk

 

ELK之一：elasticsearch 安装使用

1.  es0[1-5]安装elasticsearch ——类似mysql数据库

2.  修改elasticsearch配置文件

        

vim /etc/elasticsearch/elasticsearch.yml
    cluster.name: nsd1805
    node.name: 当前主机名
    network.host: 0.0.0.0
    discovery.zen.minimum_master_nodes: [“es01”, “es02”, “es03”]

         nodes处写几个代表就行，启动的时候先启动这几台

3. 启动elasticsearch服务

        

systemctl start elasticsearch

         监听 9200 和9300端口

4. 查看集群状态

        

 curl http://192.168.1.115:9200/_cluster/health?pretty
{
                "cluster_name" : "nsd1805",
                "status" : "green",
                "timed_out" : false,
                "number_of_nodes" : 5,
                "number_of_data_nodes" : 5,
                "active_primary_shards" : 26,
                "active_shards" : 52,
                "relocating_shards" : 0,
                "initializing_shards" : 0,
                "unassigned_shards" : 0,
                "delayed_unassigned_shards" : 0,
                "number_of_pending_tasks" : 0,
                "number_of_in_flight_fetch" : 0,
                "task_max_waiting_in_queue_millis" : 0,
                "active_shards_percent_as_number" : 100.0
}

         查看集群正常，切nodes为5表示elasticsearch 搭建成功

5. 安装ES插件并使用

         1. head插件

                   展现拓扑结构和状态，进行索引和节点操作

         2. kopf 插件

                   elasticsearch 管理工具

         3. bigdesk 插件

                   集群监控工具，查看集群资源使用、内存等信息

         4.在192.168.1.115上下载三个插件，浏览器访问插件信息时地址也是这个                  

 

/usr/share/elasticsearch/bin/plugin install ftp://192.168.1.254/elk/elasticsearch-head-master.zip
/usr/share/elasticsearch/bin/plugin install ftp://192.168.1.254/elk/elasticsearch-kopf-master.zip
/usr/share/elasticsearch/bin/plugin install file:///tmp/bigdesk-master.zip
/usr/share/elasticsearch/bin/plugin list
http://192.168.1.115:9200/_plugin/head
http://192.168.1.115:9200/_plugin/kopf
http://192.168.1.115:9200/_plugin/bigdesk

 

 

6. elasticsearch 中数据的增删改查

         1. 创建索引                  

curl -XPUT 'http://192.168.1.113:9200/tarena/' -d '{
    "settings":{
        "index":{
           "number_of_shards": 5,
           "number_of_replicas":1
        }
    }
}'

                  总结：创建索引的两种方式：

                            1.head插件页面创建索引

                            2.命令行PUT方式创建

         2. 添加数据                  

curl -XPUT 'http://192.168.1.113:9200/tarena/1' -d '{
     "title": "阶段1",
     "name": {"first": "小逗比", "last": "牛犇"},
     "age": 25
}'

         3. 修改数据                  

curl -XPUT 'http://192.168.1.113:9200/tarena/1/_update' -d '{
      “doc”: {
          “age”: 18
     }
}'

         4. 查询数据                  

curl –XGET “http://192.168.1.113:9200/tarena/1?pretty”
curl –Xput http://192.168.1.113:9200/_mget –d “{
     docs: [
         {
              “_index”: “tarena”,
              “_type”: “nsd”,
              “_id”: 20
        }
    ]

}”

         5. 删除数据                  

curl –XDELETE http://192.168.1.115:9200/tarena/nsd/1
删除索引
curl –XDELETE http://192.168.1.115:9200/tarena
端口号后面/* 代表删根，所以要放在内网中使用
curl –XDELETE http://192.168.1.115:9200/*
危险操作

ELK之二：kibana 安装使用

1.  kibana的介绍：

数据可视化平台工具，可以让开发人员轻松查看日志，建议封装在docker中

2.  kibana的安装：

         1.安装java-1.8.0-openjdk 和 kibana

                   yum –y install java-1.8.0-openjdk kibana

         2.修改kibana配置文件

                   vim /opt/kibana/config/kibana.yml

                            server.port: 5601

                            server.host: 0.0.0.0

                            elasticsearch.url: http://es01:9200

                            kibana.index: “.kibana”

                            elasticsearch.pingTimeout: 1500

                            elasticsearch.requestTimeout: 30000

                            elasticsearch.startupTimeout: 5000

                           kibana.defaultAppId: “discover”

                   其中index表示在elasticsearch中显示的索引名称

         3.启动kibana

                   systemctl start kibana

                   此时5601端口被监听，在head页面中有.kibana索引，表示启动成功

                   http://192.168.1.116:5601

                   点击status标签页，状态为ok，下面都是√，则表示kibana搭建成功

2. kibana的使用

     1. 数据批量导入

         1. 使用_bulk导入，调用POST方式

         2. 数据格式：

               1. json 几行数据

               2. data-binary 大文件 

         3.下载模板数据

               lftp 192.168.1.254

               cd elk

               get shakespeare.json.gz

                get log.jsonl.gz

                get accounts.json.gz

         4.导入数据

               curl  -XPOST http://192.168.1.115:9200/_bulk --data-binary @shakespeare.json

         5. 查看数据是否导入成功

 

          6. 继续导入和查看

                  curl  -XPOST http://192.168.1.115:9200/oo/xx/_bulk --data-binary @accounts.json

                  两个数据表头不一样，第二个没有索引和类型，需要我们自己在http后加索引和类型

                  7. 导入第三个数据文件

                       curl  -XPOST http://192.168.1.115:9200/_bulk --data-binary @logs.json

    2.  数据批量查询

         数据批量查询需要加上_mget选项

curl -XGET 'http://192.168.1.113:9200/_mget?pretty' -d '{
        "docs":[
                {
                        "_index":"accounts",
                        "_type":"act",
                        "_id":1
                },     
                {
                        "_index":"shakespeare",
                        "_type":"line",
                        "_id":14
                }
        ]
}'

  3.  安装web服务器，并启动

          yum -y install httpd

     cd /var/www/html/

     curl http://www.baidu.com -o index.html

     vim /etc/httpd/conf/httpd.conf

     systemctl restart httpd

     http://192.168.1.116

 

cat /etc/httpd/logs/access_log

192.168.1.254 - - [22/Sep/2018:16:27:13 +0800] "GET / HTTP/1.1" 200 2381 "-" "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36"

4.  kibana页面配置

 

默认会有warning小警告，需要进行配置

 

选择@timestamp，create，就没有warning了

 

         选择上面discover按钮

        

         要选择时间段，才能显示想要的数据【kibana默认只识别最近15分钟内容】

        

         时间选对了，数据就出来了

 

画框选中则更精确

 

选择visualize标签页，进行绘制其它图形

 

选择饼状图，创建并状图

 

选择from a new search

 

选择 split slices 第一个

 

按播放按钮

 

还可以添加子选项

 

做完后保存，网页右上角有保存按钮

 

 

右上角新建，继续创建

 

 

选择dashboard，右侧有+号，取出两张图

 

 

可以放大缩小

 

 

ELK之三：logstash 安装使用

      1.配置主机名，ip和yum源，配置/etc/hosts

           Vim /etc/hosts

              192.168.1.110      es01

192.168.1.112      es02

192.168.1.113      es03

192.168.1.114      es04

192.168.1.115      es05

192.168.1.116      kibana                        

192.168.1.120      logstash

                   2.安装openjdk和logstash

                            Yum –y install java-1.8.0-openjdk logstash

                            Java –version

                            Touch /etc/logstash/logstash.conf

                            /opt/logstash/bin/logstash-plugin list

                            Vim /etc/logstash/logstash.conf

                                     Input{

                                               Stdin {codec => “json”}

}

Filter{}

Output{

         Stdout {codec=>”rubydebug”}

}

                   /opt/logstash/bin/logstash –f /etc/logstash/logstash.conf

         3.logstash-input各个模块讲解

                  1. file模块插件

                     vim /etc/logstash/logstash.conf

                                     input{

                                           file {

                                                      path  => [ "/tmp/a.log", "/var/tmp/b.log" ]

                                                    sincedb_path   => var/lib/logstash/sincedb"  

                                                                 //记录读取文件的位置

                                                 start_position => "beginning" 

                                                                 //配置第一次读取文件从什么地方开始

                                                      type           => "testlog"  

                                                                 //类型名称

}

}

                  2.tcp、udp模块插件

                           Input{

tcp {

     host => "0.0.0.0"

     port => "8888"

     type => "tcplog"

}

     udp {

              port => "9999"

          type => "udplog"

}

 

}

测试脚本：vim sendmsg.sh

function sendmsg(){

  if [[ "$1" == "tcp" ]];then

         exec 9<>/dev/tcp/192.168.1.67/8888

   else

         exec 9<>/dev/udp/192.168.1.67/9999

   fi

      echo "$2" >&9

      exec 9<&-

}

Chmod +x sendmsg.sh

Sendmsg udp “xx”

Sendmsg tcp “yy”

                   3.syslog模块插件

                                     Input{

syslog {

     port => "514"

     type => "syslog"

  }

}

                            4.把登录日志的信息发送给logstash

                                     Vim /etc/rsyslog.conf

                                               Authpriv.*         @@192.168.1.120:514

                                     Systemctl restart rsyslog

                         5.收集自定义日志发送给logstash

                                     Vim /etc/rsyslog.conf

                                               Local0.*   @192.168.1.120:514

                                     Systemctl restart rsyslog

                                     Logger –p local0.info –t nsd “hello world”

                            6.收集本机自定义日志

                                     Vim /etc/rsyslog.conf

                                               Local0.*   /var/log/mylog

                                     Systemctl restart rsyslog

                                     Logger –p local0.info –t nsd “hello world”

                   4.logstash-filter模块讲解

                            1.grok插件

                                     filter{

   grok{

                                           match => ["message", "(?<key>reg)"]

                                              }

}

                                     查找正则宏路径

ls /opt/logstash/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-2.0.5/patterns/grok-patterns  //查找COMBINEDAPACHELOG

filter{

   grok{

        match => ["message", "%{COMBINEDAPACHELOG}"]

  }

}

                   5. 用filebeat收集Apache服务器的日志，存入elasticsearch

                 yum -y install filebeat

vim/etc/filebeat/filebeat.yml

paths:

    - /var/log/httpd/access_log   //日志的路径，短横线加空格代表yml格式

document_type: apachelog    //文档类型

elasticsearch:        //加上注释

hosts: ["localhost:9200"]                //加上注释

logstash:                    //去掉注释

hosts: ["192.168.1.120:5044"]     //去掉注释,logstash那台主机的ip

[root@logstash ~]#  vim /etc/logstash/logstash.conf

input{

        stdin{ codec => "json" }

        beats{

            port => 5044

}

}

 

filter{

if [type] == "apachelog"{

   grok{

        match => ["message", "%{COMBINEDAPACHELOG}"]

  }}

}

output{

      stdout{ codec => "rubydebug" }

if [type] == "apachelog"{

      elasticsearch {

          hosts => ["192.168.1.110:9200", "192.168.1.112:9200"]

          index => "apachelog"

          flush_size => 2000

          idle_flush_time => 10

      }}

 

}

[root@logstash ~]#  netstat -antup | grep 5044

浏览器访问Elasticsearch，有apachelog

 

 

基于云计算的自动化部署与自动化运维：提高运维效率
AI天才研究院
07-23 2455
随着互联网技术的飞速发展，网站流量日益增长，用户对网站功能及其可用性的需求也越来越高，越来越多的人开始担忧网站的安全和稳定性。因此，如何快速、准确地处理网站故障、迅速恢复网站服务并保障网站高可用，成为企业必须重点关注的问题之一。云计算技术正在改变IT的运营模式和组织架构，通过虚拟化技术和分布式架构实现了资源池共享，降低了成本和硬件维护费用，提升了业务敏捷性。基于这一新兴技术，云计算平台已成为解决此类问题的重要方式。
阿里云搭建ELK日志平台
Macky_He的博客
07-20 2346
阿里云搭建ELK日志平台一、说明二、开始搭建2.1 环境与版本2.2 安装filebeat2.3 安装kibana 一、说明     EKL概念在这里就不细说了，直接说安装搭建步骤；本文为作者实际在阿里云服务器上搭建的过程记录。 二、开始搭建 2.1 环境与版本 centos7.5 filebeat 7.2 elasticsearch 7.2 2.2 安装...
华为云搭建分布式ELK平台
热门推荐
xhn1871356的博客
02-09 2万+
华为云搭建分布式ELK平台 Elasticsearch : 负责日志检索和存储 Logstash : 负责日志的收集和分析,处理 Kibana : 负责日志的可视化 环境准备 1 es集群 5台 2 Logstash 1台 3 kibana 1台 es集群安装 1 设置ip与主机名对应 –配置/etc/hosts 192.168.1.51 es1 192.168.1.52 es2 ...
华为云ECS服务器中通过docker部署ELK-elasticsearch
分享技术，传播知识!
11-23 1757
华为云ECS服务器中通过docker部署ELK-elasticsearch0、阅读说明1、ELK简介2、在华为云ECS中通过docker部署Elasticsearch 0、阅读说明 说明：本文内容是以上一篇文章《华为云ECS服务器CentOS8.2安装docker》为基础的，需要先行阅读。 1、ELK简介 官网：https://www.elastic.co/cn ELK是Elasticsearch、Logstash、Kibana三个开源组件的首字母缩写，最近又加入了Beats，改名为Elastic St
云计算大数据：ELK技术栈介绍
qq_39581763的博客
03-12 944
一、 ELK工作栈简介 1. 简介 ELK Stack 是 Elasticsearch、Logstash、Kibana 三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合共用，而且又都先后归于 Elastic.co 公司名下，故有此简称。 ELK Stack 在最近两年迅速崛起，成为机器数据分析，或者说实时日志处理领域，开源界的第一选择。和传统的日志处理方案相比，ELK Stack...
云计算进阶(八)-分布式ELK平台 、 ES集群安装 、 扩展插件
上善若水~的博客
08-12 625
Architecture 003分布式ELK平台 、 ES集群安装 、 扩展插件 分布式ELK平台 数据库(核心) Web集群(核心) 缓存服务器 ELK集群:日志分析,处理 一 ELK介绍 1 ELK是一整套解决方案,是三个软件产品的首字母缩写,很多公司都在使用,比如华为,携程,美团,sina ELK:Elasticsearch:日志检索与存储 ->M Logstash...
ELK平台的部署实践
wangchaodee的博客
07-01 709
近期做了个日志平台项目，主要基于ELK技术做日志的收集、过滤、存储等，现将相关部署操作及有关脚本做汇总整理，形成部署文档，以便自己更系统掌握，也希望自己的总结能对读者有一定参考意义。
Rust与云计算：在AWS、Azure等平台上部署应用
silenceallat的博客
04-12 1335
本文介绍了Rust编程语言在AWS、Azure等云计算平台上的应用部署。我们了解了Rust的基本概念，探讨了如何在云环境中部署Rust应用，包括创建可执行文件、编写Dockerfile和配置云服务提供商。我们还提供了实用的技巧和案例，如无服务器编程、微服务架构、监控和日志以及安全性。最后，我们强调了持续集成和持续部署的重要性。 Rust在云计算领域的应用潜力巨大，有望带来更多的创新和高效应用。
WebUI云应用实践：稳定扩散模型在云计算中的部署与管理
[WebUI云应用实践：稳定扩散模型在云计算中的部署与管理](https://opengraph.githubassets.com/e594f67472ff5de38ffbd82a610ac9eafde292bd838c3a6cb4826b40b1106e2e/rcarmo/azure-stable-diffusion) # 摘要 随着...
云原生C++应用部署：C++ Redistributable在云计算环境下的应用
云原生C++应用部署是一个多步骤的过程，它涉及了从应用的构建、测试、优化到最终部署的完整生命周期。为了确保应用能够在云环境中高效、稳定地运行，开发者需要充分理解并掌握一系列部署基础知识和技术。在第一章中...
Ubuntu云计算入门：部署与管理OpenStack云服务
![Ubuntu云计算入门：部署与...OpenStack作为一种开源的云计算平台，已经成为构建私有云和公共云基础设施的事实标准之一。OpenStack通过整合多种服务，实现了资源的虚拟化、自动化管理及弹性伸缩，为IT服务提供了前所未
云计算python elk日志分析系统的搭建
m0_60655253的博客
11-20 1253
试实验： elk日志分析系统的搭建 要求：1. elk中创建的日志索引名称为自己名字的全拼 例子：output { elasticsearch { hosts => "192.168.2.10:9200" #第一台ip index => "zhangshenyue" ...
ELK技术介绍：背景、功能及应用场景全面解析
weixin_54533548的博客
04-25 3287
ELK是由Elasticsearch、Logstash和Kibana三个开源软件组成的日志管理解决方案，这一组合在近年来得到了广泛的关注和应用。ELK的出现，源于大数据和云计算技术的快速发展，以及对高效日志管理的迫切需求。随着企业信息化程度的提高，各类应用系统和服务器产生的日志数据量日益庞大，如何有效收集、处理、分析和利用这些日志数据，成为了企业和开发者面临的重要问题。传统的日志管理方式往往效率低下，无法满足实时性、可扩展性和易用性的需求。
阿里云服务器部署ELK，采集业务日志和分析
peng_0129的博客
01-14 777
选择日志源，配置logstash采集并输送到elasticSeach 常见问题解决                    1、JVM内存溢出导致的 ES或者Logstash服务启不来，报错 insufficient memory                             解决：升级机器的内存和CPU；                             或者改elasti...
自建ELK迁移阿里云日志服务
阿里云开发者
06-15 465
简介：本文介绍如何将自建的ELK系统迁移到阿里云SLS日志服务。直达最佳实践：【自建ELK迁移阿里云日志服务】最佳实践频道：【点击查看更多上云最佳实践】这里有丰富的企业上云最佳实践，从典型场景入门，提供一系列项目实践方案，降低企业上云门槛的同时满足您的需求！ 场景描述 ELKStack（Elastic/Logstash/Kibana）通常被用于日志实时分析，在开源社区中有大量的内容和使用案例。本文介绍如何将自建的ELK系统迁移到阿里云SLS日志服务。 解决问题 1.自建ELK如何迁移到阿里云日志服务。2.如
云原生时代的日志监控利器，ELK技术栈解析
博客虽小，世界尽在其中
05-08 1652
本文全面介绍了ELK技术栈的基本概念、组成部分及其相关知识。ELK，作为一套强大的数据收集、处理和可视化工具集，由Elasticsearch、Logstash和Kibana三个核心组件组成。文章首先简要概述了ELK技术栈的组成，并探讨了其广泛应用的领域和流行的原因。接着，深入剖析了Elasticsearch作为分布式搜索引擎的特性和优势，Logstash在数据收集与处理方面的功能，以及Kibana如何为数据提供直观的可视化界面。
（一）ELK系列之ELK介绍
hobby云说
11-05 953
ELK介绍 【ELK简介】 随着业务的不断扩大，服务器的不断增加，各种服务的不断增加，相应的日志量也大量增加，访问日志、应用日志、错误日志种类繁多。 从两个角度进行分析：1、开发人员的角度来说，还需要去到服务器上查看繁多的日志，无法高效的定位问题所在，所以并不方便；2、运营人员的角度来说，他们也需要获取一些特定的数据，日志数据庞大，运维通过grep awk来分析如此庞...
elk7.7.1 阿里云服务器centos部署完整配置文件
qq_29384639的博客
04-13 332
阿里云服务器部署，总是会遇到莫名其妙的问题 如： Unable to connect to Elasticsearch. Error: [master_not_discovered_exception] null elasticsearch [Failed to bind to [9300-9400]] elasticsearch.yml # ======================== Elasticsearch Configuration ========================
ELK简介
u010230019的博客
04-21 5529
elk
docker 云计算项目部署
最新发布
01-10
构建基于官方基础镜像的应用程序映像是提高安全性和性能的关键措施之一。对于 Node.js 应用而言，建议采用多阶段构建来减少最终生产环境使用的镜像大小并加快启动速度；同时利用 `.dockerignore` 文件排除不必要的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值