kafka的shell操作

Drgom

已于 2022-02-28 15:57:24 修改

阅读量249

点赞数

CC 4.0 BY-SA版权

分类专栏：消息队列文章标签： kafka

于 2021-09-15 15:04:06 首次发布

本文链接：https://blog.csdn.net/qq_43662627/article/details/120308445

消息队列专栏收录该内容

6 篇文章

订阅专栏

本文详细介绍了如何使用Shell命令进行Kafka的管理操作，包括创建主题、查看分区、发送和消费消息等核心功能，帮助读者掌握Kafka的日常运维技巧。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

#创建主题 指定分区一 副本一 
bin/kafka-topics.sh  --create   --topic test2 --bootstrap-server  lin:9092 -replication-factor 1   --partitions 1

在这里插入图片描述

#查看主题
bin/kafka-topics.sh --describe --topic test2   --bootstrap-server lin:9092

在这里插入图片描述

#连接生产者
bin/kafka-console-producer.sh    --topic test2   --bootstrap-server lin:9092

在这里插入图片描述

#连接消费者
bin/kafka-console-consumer.sh  --topic test2  --bootstrap-server lin:9092

在这里插入图片描述

#查看消费者组的偏移量
./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group consumer-group

在这里插入图片描述

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Drgom

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Kafka Shell命令交互

JustinMars的博客

09-18

754

Kafka提供了一个命令行工具，用于管理和与Kafka集群交互。这个命令行工具通常称为Kafka Shell，它允许您执行各种操作，如创建主题、发送和消费消息、查看主题列表等。

大数据Kafka（四）：kafka的shell命令使用

Lansonli（蓝深李）的博客

08-08

2482

全网最详细的大数据Kafka文章系列，强烈建议收藏加关注！新文章都已经列出历史文章目录，帮助大家回顾前面的知识重点。目录系列历史文章 Kafka的shell命令使用一、创建topic 二、生产消息到kafka 三、从kafka中消费消息四、查看主题的命令五、运行describe的命令六、增加topic分区数七、删除topic 八、使用kafka Tools操作Kafka 系列历史文章 2021年大数据Kafka（四）：❤️kafka的shell命令使用...

参与评论您还未登录，请先登录后发表或查看评论

【shell-10】shell实现的各种kafka脚本

笔生花的博客

01-26

2511

因为经常要用kafka环境参与测试，所以写了不少脚本。在很多时候可以大大提高测试的效率。topic数据传输【file数据录入到topic,topic数据下载到本地文件】此文件是个额外的日志文件主要用于打印日志，该文件会被下面的shell文件引用。topic信息查看【topic列表，topic groupid 消费情况】脚本中做了各种检查，日志的输出做了颜色区分，用起来没啥问题。topic的管理【创建，删除】

Kafka学习笔记（四）—— Shell 操作

AidenBrett7的博客

11-20

452

Kafka—— Shell 操作一、Kafka shell 操作1、创建topic2、查看主题命令3、生产者生产数据4、消费者消费数据5、运行describe topics命令6、增加topic分区数7、增加配置8、删除配置9、删除topic 一、Kafka shell 操作 1、创建topic 创建一个名字为test的主题，有三个分区，有两个副本 node01执行以下命令来创建topic ...

kafka-shell操作

不管大小写的博客

12-06

337

创建topic： bin/kafka-topics.sh --create --zookeeper zk1:2181,zk2:2181 --replication-factor 2 --partitions 1 --topic test replication：数据保存副本数量，分布式文件容错 partitions：kafka主题的分区数量，对应消费者的消费并发读取数据数量查看topic：...

Kafka的shell操作

m0_46657040的博客

12-04

163

kafka启动脚本 kafka-server-start.sh -daemon /opt/soft/kafka211/config/server.properties kafka关闭脚本 kafka-server-stop.sh stop kafka集群脚本编写启动脚本 vi kkstart.sh for i in hadoop102 hadoop103 hadoop104 do echo "========== $i ==========" ssh $i '/opt/soft/kafka211/b

Kafka shell操作

superLearner的博客

08-26

167

操作命令备注创建主题 ./kafka-topics.sh --create --zookeeper ip1:port1,ip2:port3,ip3:port3 --replication-factor 3 --partitions 3 --topic topicName replication-factor：副本数量，由于副本位于不同的broke上，因此该值不能超过broker的数量；r...

摸鱼大数据——Kafka——Kafka的shell命令使用

weixin_65694308的博客

07-12

1446

Kafka本质上就是一个消息队列的中间件的产品，主要负责消息数据的传递。也就说学习Kafka 也就是学习如何使用Kafka生产数据，以及如何使用Kafka来消费数据。

Python-基于现有KafkaCLI工具构建的增压交互式Kafkashell

08-10

1. **增强的命令行交互**：Kafkashell可能包含命令别名、自定义快捷键、颜色编码的输出，以及更直观的错误提示，让操作Kafka集群变得更加直观和高效。 2. **自动完成**：通过集成自动补全功能，用户在输入命令或...

kafka启停、操作脚本（shell），简化kafka操作

weixin_55787608的博客

08-23

667

kafka启停、运行脚本（shell），实现传参create, list, describe, delete, consumer, producer start ,stop完成相关操作，简化操作命令

kafka各种shell操作

qq_23596677的博客

08-11

143

######################### 1、启动集群每个节点的进程 ################################### nohup kafka-server-start.sh /home/hadoop/apps/kafka_2.11-1.1.0/config/server.properties 1>~/kafkalogs/kafka_...

Kafka中shell命令使用（创建、查看、修改和删除Topic，模拟创建生产者和消费者）

IT之一小佬的博客

10-19

7072

Kafka中shell命令使用（创建、查看、修改和删除Topic，模拟创建生产者和消费者）

kafka shell操作

qq_43192537的博客

11-07

295

kafka shell操作

【大数据学习 | kafka】kafka的shell操作

最新发布

2301_80912559的博客

10-29

1003

【代码】【大数据学习 | kafka】kafka的shell操作。

Kafka 概述和 kafka shell操作

u012133048的博客

08-17

1091

Kafka官方文档：kafka.apache.org/intro Kafka概述根据官网解释： 1、发布和订阅消息的一个企业级系统 2、高效处理实时数据 3、安全的在一个分布式系统以容错的方式存储。 1、发布和订阅消息的一个企业级系统 2、以容错的方式存储流数据 3、实时处理流数据消息中间件：生产者和消费者举个栗子：妈妈：生产者你：消费者...

Kafka Shell 基本操作

Gldwolf的博客

05-14

359

1. 启动集群每个节点的进程 nohup kafka-server-start.sh \ /home/hadoop/apps/kafka_2.11-1.1.0/config/server.properties \ 1>~/logs/kafka_std.log \ 2>~/logs/kafka_err.log & 2. 创建 Topic 解释说明： –create # 创建 ...

Kafka基础和shell操作（一）

niko_csdn的博客

12-15

2365

Kafka 官方网页：https://kafka.apache.org/documentation/#producerapi 专有名词 MQ:消息队列是一种异步的服务间通信方式,是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题,实现高性能,高可用,可伸缩和最终一致性架构;【基于队列的消息传递或缓存，有发布订阅模式、点对点模式两种模式】 kafka是MQ中的一种： Broker：kafka是一个分布式集群，由多台服务器构组成，每天kafka的节点就是一个Broker； Producer：

Kafka-shell常用操作

L, there!

09-04

432

kafka 的shell操作(基于topic的增删改查 shell) 目录 1. 启动节点的Kafka进程 2. 创建topic 3. 查看已创建的所有topics 4. 查看指定topic详细信息 5. 开启生产者模式 6. 开启消费者模式 7. 查看分区偏移量 8. 增加topic分区数 9. 删除topic 10. 查看队列信息 11. 查看指定队列消费数据 1....

Kafka的基本shell命令

yanzhelee

10-02

1097

Kafka内核总结1 Message一个kafka的Message由一个固定长度的header和一个变长的消息体body组成。header部分由一个字节的magic(文件格式)和四个字节的CRC32(用于判断body消息体是否正常)构成。当magic的值为1时，会在magic和CRC32之间多一个字节的数据:attributes(保存一些相关属性，比如是否压缩、压缩格式等信息)；如果magic的值为