基于kafka的分布式日志收集项目

项目背景：

        在当今数字化时代，企业信息系统日益复杂且数据量庞大，传统日志收集方式在效率和可靠性方面已难以满足需求。基于 Kafka 的分布式日志收集项目应运而生。Kafka 作为一种高性能分布式消息队列系统，具备高吞吐量、低延迟和可扩展性强等优势。该项目旨在构建一个高效的日志收集系统，通过 Kafka 将分布在多个节点上的日志数据实时收集、传输和存储，实现对海量日志数据的集中管理和分析，为企业的系统监控、故障排查和业务优化提供有力支持。

项目环境：

         CentOS 7.9.2009 (AltArch)、kafka3.6.1、Python 2.7.5、JDK 1.8.0_412、filebeat-7.17.28-1.aarch64、nginx-1.12.2-3.el7.aarch64、、

项目步骤：

        1.项目架构设计

             基于Kafka的分布式日志收集项目----架构设计-CSDN博客   

        2.部署kafka集群

             基于kafka的分布式日志收集项目----kafka集群部署-CSDN博客

        3.搭建简易web集群

             基于kafka的分布式日志收集项目----搭建简易web集群-CSDN博客

        4.开发后端 Flask 程序

        5.部署 Filebeat

        6.配置 Celery