....

本篇博客要点如下:一.环境准备二.Kafka2.1.1常用命令总结启动Kafka停止Kafka查看kafka消息列表创建topic删除topic消息生产消息消费查看某个topic详情修改分区数三.可能会用到的其它命令通过命令行的方式修改Kafka topic配置快速定位某个topic异常的分区消费端从任意指定的偏移量开始消费数据使用指定的消费者组进行消费四...

Kafka实时ETL程序CPU占用率过高的线上问题排查本篇博客要点如下:问题描述问题排查Kafka Manager界面查看基本信息CPU占用率过高问题定位问题进程定位问题线程定位问题线程堆栈信息全部线程的堆栈信息问题进程GC信息问题解决一. 问题描述收到运维电话反馈,Kafka实时ETL程序部署的机器CPU占用率居高不下.同时,每天的定时邮件校验数据条数与源...

Kafka Tool 2.0.7下载安装Kafka Tool 2.0.7连接Kafka集群Kafka Tool 2.0.7操作指北使用Kafka Tool排查定位生产问题

Kafka学习笔记(五) --使用java api监控新版Kafka消费者组的消费积压正式开篇之前,先简单介绍下该需求产生的背景:随着部署在生产环境中的kafka消费端应用越来越多通过人工的方式(去机房使用Kafka监控工具或者命令行查看消费端是否有数据积压状况)越来越让我烦躁,不仅浪费宝贵的工作时间还会受到各种各样的操作限制影响心情.于是,决定采用自动监控的方式,通过一套程序监控所有生产...

Kafka学习笔记(四) --kafka多线程消费保证跨区消费顺序一致性的研究在公司使用Kafka的过程中,存在跨区消费顺序错乱导致的数据一致性问题而公司的业务场景,要求数据必须严格一致,所以这个问题一直让我们头疼最近,我特别抽出一段时间,就这个问题的产生场景做了一些测试,并结合之前的一些处理方案,整理出了这篇博客.其中博客内容的一,二两点介绍了我们实际业务场景遇到的问题和之前尝试的一些...

     之前的Kafka学习笔记,我们介绍了Kafka的基本特性以及windows环境下Kafka的安装和使用,详情可以参见如下两篇博客:kafka学习笔记（一）–初识kafkakafka学习笔记（二）–windows环境下kafka2.1的安装和使用因为Kafka的源码使用Scala和Java两种语言实现的,所以本篇博客的开发的案例中使用了Jav...

今天起开始正式系统的学习kafka。 一个原因是工作需要，另一方面是想要完善自己的大数据技能栈。 作为目前很火的一个大数据组件，kafka一定是需要掌握的。 之后的一段时间，就会在这里记录下自己的kafka学习笔记，希望能够坚持下去~ 新的笔记发布的时候，这里也会同步更新。 一起进步呀！目录索引1. 初始kafka什么是kafka?为什么要使用kafka?消息队列中的...

本篇博客主要内容 ：windows环境下kafka的安装kafka的简单使用一. kafka下载安装准备工作 ：java环境变量配置 ： 我选用的1.8版本scala环境变量配置 ： 我选用的2.12版本有关java和scala的安装配置，之前写过一篇博客介绍：java，scala环境变量配置kafka下载 :kafka官网链接官网下载速度慢的话，还可以使用镜像...

本篇博客主要包含以下三个内容 :什么是kafka?为什么选择kafka?消息队列里的两种模式。一. 什么是kafka首先附上 kafka官网链接：可以看到官网对kafka的描述如下 ：A distributed streaming platform(分布式的流处理平台)这应该就是kafka最简洁精准的定位。首页里还有如下描述 ：PUBLISH & SUBSCRIB...