Linux下kafka集群配置安装

最新推荐文章于 2025-05-28 19:06:45 发布
最新推荐文章于 2025-05-28 19:06:45 发布
阅读量881 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据集群 学习笔记 文章标签： kafka 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lucklydog123/article/details/112294745
本文档详细介绍了如何在Linux环境下安装并启动Kafka集群。首先确保Zookeeper集群已安装并运行，接着从官方镜像网站下载Kafka的jar包，解压并使用xsynckafka命令同步到所有节点。在config目录下修改server.properties文件，特别是设置broker.id和log.dirs。启动Kafka前，先启动Zookeeper，然后通过nohup启动kafka-server。最后，使用kafka-topics.sh命令验证集群是否正常运行。如果返回空行，则表明安装成功。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

写在最前

由于kafka的启动依赖zookeeper，所以在此之前，首先需要安装好zookeeper集群并可以成功启动，

一.下载kafka的包

先去镜像网站下载kafka对应版本的jar包，apache安装包镜像网站，
然后上传到Linux中解压，并使用xsnyc命令将其分发到集群的其他节点的机器中
由于此操作过于基础，故不在赘述。

 xsync kafka/

在这里插入图片描述

进入到config目录下，修改kafka的安装配置

vim server.properties

在这里插入图片描述
主要修改broker.id，log.dirs=/opt/module/kafka/data

我的配置为broker.id=3，log.dirs=/opt/module/kafka/data，注意broker.id，集群的每天机器节点的id是不一样的。

启动验证

首先将zookeeper集群启动

 ./zkServer.sh start

启动kafka集群

nohup ./kafka-server-start.sh ../config/server.properties &

使用jps命令观察两个是否已经正常启动

在这里插入图片描述
使用此命令验证kafka集群是否可以正常使用，初次启动若返回空行不报错，则说明kafka集群安装成功

 ./kafka-topics.sh --bootstrap-server hadoop103:9092 --list
linux中Kafka集群的安装
qq_53983765的博客
11-08 1071
kafka安装步骤；kafka安装报错内存不足：Java HotSpot(TM) 64-Bit Server VM warning:INFO:os::commit_memory(0....) feiled;error=’Cannot allocate memory’(error=1，kafka创建topic报错：Exception in thread “mian” joptsimple.UnrecognizedOptionEception:partion is not a recognized option
Linux 下 kafka 集群部署
qq_59998784的博客
07-03 3687
本文将以三台服务器为例，介绍在 linux 系统下kafka的部署方式。
linux上安装kafka集群
xungxingzhihuolc的博客
05-15 376
在 192.168.191.5 hadoop5上 注先 vim /etc/hosts 192.168.191.5 hadoop5 192.168.191.9 hadoop9 192.168.191.11 hadoop11 配置环境变量： （1）vi /etc/profile export ZOOKEEPER_HOME=/usr/local/software/zookeeper-3.4.10 export PATH=$PATH:${JAVA_HOME}/bin:$ZOOKEEPER_H...
Linux Kafka zookeeper模式和kraft模式集群搭建
最新发布
hayhead的博客
05-28 474
kafka集群搭建
linux下kafka集群安装部署
qq_41389315的博客
05-24 974
目录一、jdk环境二、zookeeper安装1.[zookeeper官网下载](https://zookeeper.apache.org/releases.html)2.zookeeper解压(1) tar.gz解压(2) 设置软连接或修改别名3.zookeeper配置(1) 备份zoo.cfg文件(2) 配置zoo.cfg文件(3) 创建myid4.zookeeper启动二、kafka安装1.[kafka官网下载](http://kafka.apache.org/downloads)2.kafka解压(1
Linux 安装 Kafka 集群
茂盛博客
06-06 171
# cd config # vi server.properties 【server1】 broker.id=1 port=9092 host.name=server1 socket.send.buffer.bytes=1048576 socket.receive.buffer.bytes=1048576 socket.request.max.bytes=104857600 log.dir=./kafka1-logs nu
Kafka 在 Linux 下的集群配置和安装
J老熊
09-26 1853
本文详细介绍了在 Linux 环境中配置和安装 Kafka 集群的过程，包括每个配置项的说明和常见故障的排查方法。通过这些步骤，您可以轻松地构建一个可靠的 Kafka 集群，支持大规模数据流处理和实时数据传输。希望这篇文章能够帮助您顺利搭建和管理 Kafka 集群。
Linux下Kafka分布式集群安装教程
09-15
为了在Linux环境下安装Kafka集群，首先需要准备好以下环境： - **操作系统**：本教程选择使用CentOS 7.2作为操作系统。 - **Zookeeper集群**：Kafka依赖于Zookeeper来管理集群状态，推荐使用独立的Zookeeper集群而非...
Kafka【六】Linux下安装Kafka(Zookeeper)集群
小小默：进无止境
09-03 1067
Kafka从早期的消息传输系统转型为开源分布式事件流处理平台系统，所以很多核心组件，核心操作都是基于分布式多节点的。本文这里采用三台虚拟机模拟真实物理主机搭建Zookeeper集群和kafka集群。VMware可以使用户在一台计算机上同时运行多个操作系统，还可以像Windows应用程序一样来回切换。用户可以如同操作真实安装的系统一样操作虚拟机系统，甚至可以在一台计算机上将几个虚拟机系统连接为一个局域网或者连接到互联网。
kafka：linux 安装 kafka集群
积水成多，水到渠成
03-09 1649
启动：sh /opt/kafka/kafka_2.11-2.4.0/bin/kafka-server-start.sh -daemon /opt/kafka/kafka_2.11-2.4.0/config/server.properties。若要关闭efak，则运行命令：sh/opt/kafka-eagle/kafka-eagle-bin-2.1.0/efak-web-2.1.0/bin/ke.sh stop。下载linux版本的jdk包，比如：jdk-8u192-linux-x64.tar.gz。
在Linux上安装Kafka集群(kafka_2.12-2.8.0)
zhangbeizhen18的博客
06-11 2864
记录：456 场景：在CentOS 7.9操作系统上，使用kafka_2.12-2.8.0版本，在三台机器上，安装Kafka集群。使用Zookeeper集群作为Kafka集群的节点注册与协同管理。
linux环境安装kafka集群
weixin_44231698的博客
09-07 164
　　linux下安装kafka,首先确保zookeeper已经安装成功,想要安装zookeeper，必须先在linux中安装好jdk。 下面我们依次开始安装jdk，zookeeper，kafka。 一：安装jdk： 　　1.检查linux环境是否安装了jdk可以用java -version或者rpm -qa|grep jdk 。 　　2.下载jdk-8u221-linux-x64.tar...
Linux下 kafka集群安装
上善若水
04-12 1251
环境：CentOS 7虚拟机两台，分别为：192.168.31.224和192.168.31.225 1、安装之前先安装jdk和zookeeper 2、下载 kafka_2.12-1.1.0.tgz，下载地址为：https://mp.csdn.net/mdeditor 3、解压kafka_2.12-1.1.0.tgz，使用命令tar -zxvf kafka_2.12-1.1.0.tgz,解压...
linux kafka集群 安装
WQQ72600的博客
05-09 302
ww
linux 安装kafka集群,基于Linux的kafka集群安装-Go语言中文社区
weixin_35808091的博客
05-15 171
1. 环境准备：准备两台Linux服务器要保证网络互通。2. 下载kafka和zookeeper3. 解压tar -zxvf apache-zookeeper-3.6.1-bin.tar.gz -C /usr/local/tar -zxvf apache-zookeeper-3.6.1-bin.tar.gz -C /usr/local/4. 重命名mv kafka_2.12-2.5.0/ kafk...
Linux下安装部署Kafka集群
Ginny_2019的博客
06-19 1116
一，安装3台虚拟Linux机 可参照 -https://blog.csdn.net/Ginny_2017/article/details/92799904 二，安装Kafka之前，需要安装Zookeeper, 也可以使用Kafka自带的ZK 独立安装ZK， 可参考：https://blog.csdn.net/Ginny_2017/article/details/92848982 第1步：...
【Kafka】Linux部署Kafka集群
鸟人的博客
02-27 1205
将压缩包分别上传到三台Kafka服务器的/usr/local/kafka目录下，备用。分别在202,203节点上创建消费者。在151的broker上创建生产者。创建data和log目录。151节点下创建主题即可。启动Zookeeper。
Linux下kafka集群与zookeeper简单安装配置和使用
qq_55805572的博客
08-08 272
这里以两台机器为列 防火墙设置 systemctl stop firewalld 停止防火墙 systemctl disable firewalld 设置开机不启动 seliunx服务关闭 vim /etc/selinux/config 改成SELINUX=disabled 重启之后生效 一丶安装kafka与配置 1.先安装java,因为kafka是基于Java开发的 使用命令：yum install java -y 2.安装kafka
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值