【kafka专栏】使用shell脚本快速安装kafka集群(含视频)

最新推荐文章于 2024-04-11 07:06:01 发布
最新推荐文章于 2024-04-11 07:06:01 发布
阅读量730 收藏 1
点赞数 4
CC 4.0 BY-SA版权
分类专栏： kafka进阶之道 文章标签： kafka zookeeper 分布式
禁止转载
本文链接：https://blog.csdn.net/hanxiaotongtong/article/details/125094014
本文介绍了如何手动安装与使用shell脚本自动化安装kafka集群，包括配置修改、集群启动与停止脚本，以及集群可用性测试。强调了shell脚本在多服务器安装中的便利性，并提示了相关配置参数的重要性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

我们本节来正式安装kafka集群，安装kafka集群主要的方式有两种:一种是纯手动安装，一种是使用自动化shell脚本安装。纯手动安装的方式需要一台服务器、一台服务器的去操作，在服务器较多的情况下工作量很大。使用shell脚本一次性安装的方式，就显得非常有必要了，这两种方法本文都会介绍。（配套视频看本专栏目录篇）

文章目录

一、手动安装

因为是手动安装，下面的操作在kafka集群的每个服务器主机上都需要执行一次

1.1.准备工作

以下操作在kafka集群的每个主机上都执行一次

解压kafka压缩包,我是解压到到/home/kafka这个目录下面了，该目录是kafka用户的用户根目录。

tar zxvf /home/kafka/kafka_2.13-2.8.0.tgz;

创建一个目录，用于保存kafka数据消息的持久化保存目录。无论是手动安装，还是shell脚本自动化安装都需要先规划好kafka持久化数据存放的目录，并且给kafka用户赋予该目录的操作权限。(如果你使用root安装，没有这样的问题，但是不建议安装kafka使用root用户。)


                

                
                
        

    

    
  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
                
                    
                    超级会员免费看
                
            

            
            
            
        


    



                



	

		

			

				
					
【kafka专栏】使用shell脚本快速搭建kafka单机版(含视频)

				
			

			

				

					字母哥博客
				

				

					05-11
					
					745
					
				

			

		

		

			
				
提供给大家一个快速搭建方式，讲解搭建一个kafka的单机版的过程，方便大家用于学习使用。

			
		

	



                

            
              



	

		

			

				
					
【kafka专栏】使用shell脚本一键安装zookeeper集群

				
			

			

				

					字母哥博客
				

				

					05-30
					
					791
					
				

			

		

		

			
				
zookeeper通常作为分布式服务的服务注册与配置管理中心存在，作为分布式系统的协调统一配置工具存在。为保证zookeeper的高可用，通常需要将zookeeper搭建为集群。

			
		

	



              


  
              

                


	

		

			

				
					
shell一键安装Kafka(3节点)

				
			

			

				

					码上中年的博客
				

				

					03-10
					
					276
					
				

			

		

		

			
				
shell一键部署jdk_三台
shell一键部署Scala_三台
1. 准备好三台已经安装好jdk和scala的机器
172.16.149.150 cdh-master
172.16.149.151 cdh-worker1
172.16.149.152 cdh-worker2

2. 编写代码
#!/bin/bash
ipath=/opt/bigdata
echo "安装kafka集群"
installpath=$(cd `dirname $0`; pwd)
echo ${installpath}
fil

			
		

	





	

		

			

				
					
（shell系列）单机一键安装kafka

				
			

			

				

					ssshey的博客
				

				

					04-02
					
					438
					
				

			

		

		

			
				
kafka_path=/usr/local
kafka_tar_version=kafka_2.12-2.2.0.tgz
kafka_version=kafka_2.12-2.2.0
confpath=$kafka_path/kafka
#判断目录
if [ ! -d $kafka_path ];then
    mkdir -p $kafka_path
    echo "重新创建目录成功"...

			
		

	



		

			
		



	

		

			

				
					
kafka+zookeeper高可用集群搭建shell使用脚本

				
			

			

				

					02-22
				

			

		

		

			
				
kafka+zookeeper高可用集群搭建shell使用脚本，直接在linux运行就行

			
		

	





	

		

			

				
					
shell脚本一键安装kafka集群

				
			

			

				

					guajidai0165的博客
				

				

					05-17
					
					831
					
				

			

		

		

			
				
shell脚本一键安装kafka集群
#!/bin/bash
#在脚本的位置存放安装包kafka_2.11-0.10.2.1.tgz
currentTime=$(date '+%Y-%m-%d %H:%M:%S')
echo -e "请输入kafka的安装目录,不存在脚本自动创建,最后一个/不要写 /bigdata/install"
read kafkainstallpath

#创建KAFKA安...

			
		

	





	

		

			

				
					
【kafka专栏】使用shell脚本一键安装zookeeper集群，2024年最新java基础入门第二版知识点

					
最新发布

				
			

			

				

					2401_84140707的博客
				

				

					04-11
					
					548
					
				

			

		

		

			
				
分享一套我整理的面试干货，这份文档结合了我多年的面试官经验，站在面试官的角度来告诉你，面试官提的那些问题他最想听到你给他的回答是什么，分享出来帮助那些对前途感到迷茫的朋友。

			
		

	





	

		

			

				
					
【kafka专栏】生产级集群搭建之linux安装JDK(含视频)

				
			

			

				

					字母哥博客
				

				

					05-17
					
					718
					
				

			

		

		

			
				
kafka专栏之生产级集群搭建，linux下安装JDK

			
		

	





	

		

			

				
					
shell脚本安装kafka集群样例

				
			

			

				

					ZYYPDH的博客
				

				

					02-20
					
					309
					
				

			

		

		

			
				
自定义参数
KAFKA_PATH= #KAFKA安装路径
KAFKA_PORT= #设置KAFKA端口
PKG_NAME= #PKG名称
TEMP_PATH= #临时目录
USER_NAME= #启动用户
ZK_PORT= #连接ZK端口

部署参数检查
#!/bin/bash

# 检查参数是否设置
echo "=====检查参数是否设置===="
if [ ! $KAFKA_PATH ];then
	echo "=====$KAFKA_PATH 此参数未设置，请检查！====="
    exit 1


			
		

	





	

		

			

				
					
kafka集群脚本部署

				
			

			

				

					zy_xingdian的博客
				

				

					09-14
					
					414
					
				

			

		

		

			
				
#!/bin/bash
panduan(){
        if [ $? -ne 0 ];then
                echo -e "${blue_col}Execution error, terminating scrip.......${reset_col}"
                exit
        fi
}

stop_firewalld(){
        systemctl stop firewalld && systemctl disabl

			
		

	





	

		

			

				
					
kafka集群一键安装

				
			

			

				

					sanhongbo的博客
				

				

					03-26
					
					228
					
				

			

		

		

			
				
参考原文
https://blog.csdn.net/qq_37641047/article/details/105281050
真棒



			
		

	





	

		

			

				
					
zookeeper+kafka集群一键安装脚本

				
			

			

				

					rainzqb的博客
				

				

					06-17
					
					715
					
				

			

		

		

			
				
1. zookeeper_kafka_install.sh
#!/bin/bash

read -p "is need to deploy cluster environment[yes|no]: " booleanResult
if [ $booleanResult = "yes" ] || [ $booleanResult = "no" ];then
	echo "input is: "$bo...

			
		

	





	

		

			

				
					
kafka安装基于脚本

				
			

			

				

					Jason_SDN的博客
				

				

					03-26
					
					2750
					
				

			

		

		

			
				
说明:此脚本适用于centos、ubuntu系统，安装kafka版本为3.1

废话不多说直接上脚本！


#!/bin/bash
#
#********************************************************************
#Author:		    Jason
#QQ: 			    1654028243
#Date: 			    2022-03-26
#FileName：		    install_kafka.sh
#URL: 			    jaso

			
		

	





	

		

			

				
					
shell脚本部署kafka单点

				
			

			

				

					weixin_45545378的博客
				

				

					07-26
					
					177
					
				

			

		

		

			
				
shell脚本部署kafka单点

			
		

	





	

		

			

				
					
kafka集群快速安装

				
			

			

				

					weixin_43557605的博客
				

				

					06-12
					
					154
					
				

			

		

		

			
				
host1 host2 host3 安装zookeeper

[root@localhost ~]# tar -zxf zookeeper-3.4.12.tar.gz 
[root@localhost ~]# mv zookeeper-3.4.12 /usr/local/zookeeper
[root@localhost ~]# cd /usr/local/zookeeper/conf/
[roo...

			
		

	





	

		

			

				
					
Kafka安装与配置-shell脚本一键安装配置（单机版）

				
			

			

				

					zcs2312852665的博客
				

				

					12-06
					
					784
					
				

			

		

		

			
				
本文提供了一个Shell脚本，可以一键安装Kafka。脚本会自动下载指定版本的Kafka压缩包，并将其解压到指定目录。同时，脚本会设置Kafka的环境变量和配置文件，以便您可以方便地启动和停止Kafka。通过执行脚本，您可以快速搭建Kafka环境，用于消息传递和数据处理。

			
		

	





	

		

			

				
					
shell脚本，一次性启动kafka集群

				
			

			

				

					qq_38872310的博客
				

				

					01-24
					
					1471
					
				

			

		

		

			
				
版本centos6.5，64位操作系统，已配置JDK1.8，三个节点



在s121节点上可以免密登录到另外两个节点，另外kafka0.9.0.1的安装目录相同。



 修改了主机名，并在每个节点的hosts文件中设置了映射



 脚本内容：




#!/bin/bash

i=121
for (( i=121 ; i <= 123 ; i = $i + 1 )) ; do
    ...

			
		

	





	

		

			

				
					
Kafka集群安装部署与启动脚本

				
			

			

				

					搁浅记忆的博客
				

				

					01-04
					
					543
					
				

			

		

		

			
				
Kafka

2.1 安装部署

2.1.1 集群规划


			hadoop102
			
			
			hadoop103
			
			
			hadoop104
			
		
			zk
			
			
			zk
			
			
			zk
			
		
			kafka
			
			
			kafka
			
			
			kafka
			
		2.1.2 jar包下载

http://kafka.apache.org/downloads

2.1.3 集群部署

1）解压安装包

[at.

			
		

	





	

		

			

				
					
shell脚本一键安装kafka，亲测可用

				
			

			

				

					qq_16234927的博客
				

				

					01-15
					
					574
					
				

			

		

		

			
				
很简单，就几行命令。亲测可用!
echo "=================kafka安装==================="
echo "================安装并解压kafka======================="
cd /usr/programs/soft/
#tar -zxvf  kafka_2.11-0.10.2.1.tgz 
echo "==========...

			
		

	





	

		

			

				
					
Linux下Kafka与Zookeeper高可用集群的Shell脚本搭建

				
			

			

				

					
				

			

		

		

			
				
标题：“Kafka+Zookeeper高可用集群搭建shell使用脚本”所涉及的知识点  1. Kafka概述： Apache Kafka是一个分布式的流处理平台，主要用于构建实时数据管道和流应用程序。它具有高性能、可扩展性和耐用性的特点。...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

  
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
字母哥哥

			
您的支持是我不竭的创作动力！

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值