kozazyh的专栏

confluent 版本选择

Kafka宕机引发的高可用问题问题要从一次Kafka的宕机开始说起。笔者所在的是一家金融科技公司，但公司内部并没有采用在金融支付领域更为流行的RabbitMQ，而是采用了设计之初就为日志处理而生的Kafka，所以我一直很好奇Kafka的高可用实现和保障。从Kafka部署后，系统内部使用的Kafka一直运行稳定，没有出现不可用的情况。但最近系统测试人员常反馈偶有Kafka消费者收不到消息的情况，登陆管理界面发现三个节点中有一个节点宕机挂掉了。但是按照高可用的理念，三个节点还有两个节点可用怎么就引起了整

Kafka Controller：它负责管理整个集群中所有分区和副本的状态等工作。比如当某个分区的leader副本出现故障时，由控制器负责为该分区选举新的leader副本。再比如当检测到某个分区的ISR集合发生变化时，由控制器负责通知所有broker更新其元数据信息。kafka Controller 选举：在Kafka集群中会有一个或多个broker，其中有一个broker会被选举为控制器（K...

查询zookeeper服务器成员列表1. 通过Jmx公开的信息，查询服务器成员列表。2. 您可以阅读zoo.cfg文件以获取zk服务器成员列表（死亡和活动的）3. 自从3.4.0开始，新增内容：输出可用于监视群集运行状况的变量列表。$ echo mntr | nc 192.168.10.133 2181zk_version 3.4.0zk_avg_latency 0z...

jmxquery模块:通过JMX轻松运行查询并从Java虚拟机收集指标。安装jmxquery: pip3.6 install jmxquery开启Kafka的JMX：在kafka的启动文件./bin/kafka-server-start 增加JMX环境变量：if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA...

kafka python api选择：1. kafka-python: https://github.com/dpkp/kafka-python2. confluent-kafka-python: https://github.com/confluentinc/confluent-kafka-pythonkafka-python:是最受欢迎的 Kafka Python 客户端。c...

原文：https://www.confluent.io/blog/okay-store-data-apache-kafka/原文翻译：https://sdk.cn/news/7519摘要：“把 Kafka 作为长期存储有问题吗？” 这是一个非常常见的问题，我们知道，Kafka 是这样存储日志记录的，答案是“可以”，只要把数据保留时间设置为“永久”，或者开启日志压缩，数据就会被一直保存，把数据长期存...

版本：centos 7 jdk8 zookeeper-3.4.10 kafka 1.0.0zookeeper-01.localdns 192.168.5.101 zookeeper-02.localdns 192.168.5.102 zookeeper-03.localdns 192.168.5.103 kafka-01.localdns 192.1...

version: filebeat:6.2.4容器日志的默认存储方式是：json-file1. docker 所有日志实际存放路径为：/var/lib/docker/containers/ ，日志文件的名称跟k8s的命名方式并没有关联；2. 为了方便管理（使用deployment,container的名称来命名日志），会创建一些links，指向日志实际存储路径 /var/lib/docke...

原文档地址：http://kafka.apache.org/documentation.html############################# System ##############################唯一标识在集群中的ID，要求是正数。broker.id=0#服务端口，默认9092port=9092#监听地址，不设为所有地址host.name=debugo01 # 处...