elk 部署 E / L / K每个单独部署/说明

本文详细介绍了ELK(Elasticsearch、Logstash、Kibana)堆栈的部署过程,用于高效管理和分析服务器及应用日志。通过在多台服务器上配置Elasticsearch,设置主从节点,并安装Logstash进行日志收集,最后利用Kibana进行日志展示和分析。此外,还提供了Logstash配置文件示例和Kibana的安装与使用步骤,帮助实现系统的日志可视化管理。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

elk简介:


在日常运维工作中,对于系统和业务日志的处理尤为重要
日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。
经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠正错误。
通常,日志被分散的储存在不同的设备上。如果你管理数十上百台服务器,你还在使用依次登录每台机器的传统方法查阅日志。这样繁琐且效率低下。
日志分析系统:ELK
是一个基于浏览器页面的Elasticsearch前端展示工具,也是一个开源和免费的工具,Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮你汇总、分析和搜索重要数据日志。
E:Elasticsearch
接收Logstash提交的日志。存储日志.弹性搜索,日志存储
L:Logstash
部署在产生日志的应用服务器上,用于收集日志.
K:Kibana
通过WEB页面向用户展示。可以帮你汇总、分析和搜索重要数据日志

ELK部署:


Es:


两台es,域名解析。
elk-node1: 192.168.184.177       #master机器
elk-node2:192.168.184.178      #slave机器

验证密钥:
rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
yum仓库:
vim /etc/yum.repos.d/elasticsearch.repo

[elasticsearch-2.x]
name=Elasticsearch repository for 2.x packages
baseurl=http://packages.elastic.co/elas
<think>好的,我现在需要在RHEL系统上安装和配置ELK-stack,也就是Elasticsearch、Logstash和Kibana。我之前没有太多经验,所以得一步步来。首先,我得确认系统要求,比如RHEL的版本是否兼容最新的ELK组件。可能需要检查官方文档,确保各个组件的版本一致,避免兼容性问题。 安装Java可能是必须的,因为Elasticsearch是基于Java开发的。所以第一步应该是安装合适的Java版本,比如OpenJDK 11或者更高。然后,添加Elastic的YUM仓库,这样可以通过yum命令直接安装各个组件,比较方便。需要下载和导入Elastic的GPG密钥,然后配置.repo文件。 接下来是安装各个组件:Elasticsearch、Logstash、Kibana。每个组件都需要单独的安装步骤。安装完成后,配置Elasticsearch的配置文件,比如设置集群名称、网络主机、发现设置等。可能需要配置JVM选项,调整内存分配。然后启动服务并设置开机自启。 Logstash的配置可能复杂一些,需要定义输入、过滤器和输出。例如,从Beats接收日志,处理后再发送到Elasticsearch。可能需要编写一个配置文件,指定这些部分。Kibana的配置相对简单,设置Elasticsearch的地址和服务器端口,然后启动服务。 证书和安全性也是需要考虑的,尤其是生产环境中。可能需要生成CA证书,配置各个节点使用TLS加密通信。参考引用中的步骤,使用elasticsearch-certutil工具生成证书,并配置各个服务的SSL设置。 另外,系统优化部分,比如修改文件描述符限制、内存映射限制,以及配置域名解析(/etc/hosts),这些步骤在引用中也有提到。需要确保系统资源足够,避免因为限制导致服务无法正常运行。 可能遇到的问题包括端口冲突、服务启动失败、配置错误导致组件无法通信等。需要查看日志文件,比如Elasticsearch的日志位于/var/log/elasticsearch/,根据错误信息进行调整。此外,防火墙设置可能需要开放相关端口,如9200、9300、5601等。 用户可能还会关心如何验证安装是否成功,比如通过curl访问Elasticsearch的API,或者通过浏览器访问Kibana界面。后续的步骤可能包括配置索引模式、导入数据、使用Kibana进行可视化等。 在生成相关问题的时候,需要围绕安装后的配置、优化、安全加固、故障排除等方面提出问题,帮助用户深入理解ELK-stack的部署和管理。</think>### 分步安装与配置ELK-stack指南(RHEL系统) #### 一、系统环境准备 1. **安装Java环境** ELK组件依赖Java,推荐安装OpenJDK 11以上版本: ```bash sudo yum install java-11-openjdk-devel ``` 2. **配置系统资源限制** 编辑`/etc/security/limits.conf`,增加以下内容: ``` elasticsearch soft nofile 65535 elasticsearch hard nofile 65535 elasticsearch soft memlock unlimited elasticsearch hard memlock unlimited ``` 参考系统优化配置[^5]。 3. **配置本地域名解析(可选)** 若部署多节点集群,需在`/etc/hosts`中添加节点IP与域名映射[^5]: ``` 192.168.10.11 elk-node1 192.168.10.12 elk-node2 ``` --- #### 二、添加Elastic官方仓库 1. **导入GPG密钥** ```bash rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch ``` 2. **创建YUM仓库文件** 新建`/etc/yum.repos.d/elastic.repo`,内容如下: ```ini [elasticsearch] name=Elasticsearch repository baseurl=https://artifacts.elastic.co/packages/7.x/yum gpgcheck=1 gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch enabled=1 autorefresh=1 type=rpm-md ``` --- #### 三、安装ELK组件 1. **安装Elasticsearch** ```bash sudo yum install elasticsearch ``` 2. **安装Logstash与Kibana** ```bash sudo yum install logstash kibana ``` 若需集成Filebeat(日志收集工具),可参考安装命令[^2][^3]。 --- #### 四、配置Elasticsearch 1. **主配置文件** 编辑`/etc/elasticsearch/elasticsearch.yml`,核心配置如下: ```yaml cluster.name: elk-cluster node.name: elk-node1 network.host: 0.0.0.0 discovery.seed_hosts: ["elk-node1", "elk-node2"] cluster.initial_master_nodes: ["elk-node1"] ``` 2. **生成SSL证书(集群通信加密)** 使用`elasticsearch-certutil`生成证书[^4]: ```bash /usr/share/elasticsearch/bin/elasticsearch-certutil ca --out /etc/elasticsearch/elastic-stack-ca.p12 ``` 3. **启动服务** ```bash sudo systemctl enable --now elasticsearch sudo systemctl status elasticsearch # 验证状态 ``` --- #### 五、配置Logstash 1. **创建Pipeline配置文件** 新建`/etc/logstash/conf.d/filebeat-to-es.conf`,示例配置: ```ruby input { beats { port => 5044 } } filter { grok { match => { "message" => "%{COMBINEDAPACHELOG}" } } } output { elasticsearch { hosts => ["http://elk-node1:9200"] index => "logs-%{+YYYY.MM.dd}" } } ``` 2. **启动服务** ```bash sudo systemctl enable --now logstash ``` --- #### 六、配置Kibana 1. **编辑配置文件** 修改`/etc/kibana/kibana.yml`: ```yaml server.host: "0.0.0.0" elasticsearch.hosts: ["http://elk-node1:9200"] ``` 2. **启动服务** ```bash sudo systemctl enable --now kibana ``` --- #### 七、验证部署 1. **检查Elasticsearch集群状态** ```bash curl -X GET "http://localhost:9200/_cluster/health?pretty" ``` 2. **访问Kibana界面** 浏览器访问`http://<服务器IP>:5601`,进入**Management > Stack Management**完成初始化设置。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值