elk 加 Kafka

最新推荐文章于 2024-08-09 15:57:23 发布

云计算架构师-静

最新推荐文章于 2024-08-09 15:57:23 发布

阅读量478

点赞数

CC 4.0 BY-SA版权

文章标签：队列 kafka zookeeper

本文链接：https://blog.csdn.net/weixin_57901667/article/details/118295350

本文档详细介绍了如何搭建Kafka集群，包括zookeeper配置，以及使用logstash从Kafka消费数据并输出到Elasticsearch的过程，强调了消息队列在系统解耦、冗余、扩展性等方面的优势。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在搭建kafka集群时，需要提前安装zookeeper集群，当然kafka已经自带zookeeper程序只需要解压并且安装配置就行了
官网： http://kafka.apache.org
yum install -y java-1.8.0
wget http://mirror.rise.ph/apache/kafka/0.8.2.1/kafka_2.11-0.8.2.1.tgz
tar -xf kafka_2.11-0.8.2.1.tgz -C /usr/local/
cd /usr/local/
mv kafka_2.11-0.8.2.1 kafka

2.配置zookeeper集群
vim /usr/local/kafka/config/zookeeper.properties

dataDir=/data/zookeeper
clientPort=2181
tickTime=2000
tickTime : 这个时间是作为 Zookeeper 服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个 tickTime 时间就会发送一个心跳。
initLimit=20
initLimit：LF初始通信时限
syncLimit=10
syncLimit：LF同步通信时限
server.2=192.168.184.177:2888:3888
2888 端口：表示的是这个服务器与集群中的 Leader 服务器交换信息的端口；
3888 端口：表示的是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的 Leader ，而这个端口就是用来执行选举时服务器相互通信的端口。
server.3=192.168.184.178:2888:3888
server.4=192.168.184.179:2888:3888
maxClientCnxns=0
maxClientCnxns选项，如果不设置或者设置为0，则每个ip连接zookeeper时的连接数没有限制

mkd