「布道师系列文章」众安保险王凯解析 Kafka 网络通信-CSDN博客

作者｜众安保险基础平台 Java 开发专家王凯

引言

今天给大家带来的是 Kafka 网路通信主要流程的解析（基于 Apache Kafka 3.7[2]）。同时引申分析了业界当前较火的AutoMQ基于Kafka在网络通信层面的优化和提升。

如何构建一个基本的请求和处理响应

一个消息队列涉及的网络通信主要有两块：

消息生产者与消息队列服务器之间（Kafka 中是生产者向队列「推」消息）
消息消费者与消息队列服务器之间（Kafka 中是消费者向队列「拉」消息）

图上就是一个从发送消息到收到响应主要经过的流程。Client:1.KafkaProducer 初始化 Sender 线程2.Sender 线程从 RecordAccumulator 中获取攒批好的数据（这里详细的客户端发送可以看 https://mp.weixin.qq.com/s/J2\_O1l81duknfdFvHuBWxw）3.Sender 线程调用 NetworkClient 检查连接（未 ready 需要 initiateConnect）4.Sender 线程调用 NetworkClient 的 doSend 方法将数据写入 KafkaChannel5.Sender 线程调用 NetworkClient 的 poll 进行实际的发送Server:1.KafkaServer 初始化 SocketServer、dataPlaneRequestProcessor（KafkaApis）、dataPlaneRequestHandlerPool2.SocketServer 初始化 RequestChannel、dataPlaneAcceptor3.dataPlaneAcceptor 负责获取连接并分配处理任务给对应的 Processor4.Processor 线程从 newConnections 的 queue 中取出任务进行处理5.Processor 线程处理准备好的 IO 事件

configureNewConnections（）：创建新连接
processNewResponses（）：发送 Response，并将 Response 放入到 inflightResponses 临时队列
poll（）：执行 NIO poll，获取对应 SocketChannel 上准备就绪的 I/O 操作
processCompletedReceives（）：将接收到的 Request 放入 RequestChannel 队列
processCompletedSends（）：为临时 Response 队列中的 Response 执行回调逻辑
processDisconnected（）：处理因发送失败而导致的连接断开
closeExcessConnections（）：关闭超过配额限制部分的连接

6.KafkaRequestHandler 从 RequestChannel 中获取准备好的事件根据 apiKey 分配给对应的 KafkaApi 进行处理7.KafkaApi 处理完成后，把 response 放入 RequestChannel8.Processor 线程将 response 响应给 client以上就是一个完整的 kafka 发送消息，客户端和服务端的处理流程。

Kafka 中的网络通信
1. 服务端通信线程模型

不同于 rocketmq 中通过 netty 实现了高效的网络通信，Kafka 中的相当于通过 java NIO 实现了一个主从 Reactor 模式的网路通信（不熟悉的可以关注 https://jenkov.com/tutorials/java-nio/overview.html）。

DataPlanAcceptor 和 ControlPlanAcceptor 都是 Acceptor 的一个子类，Acceptor 又是一个实现了 Runnable 接口的线程类，Acceptor 的主要目的是监听并且接收 Client 和 Broker 之间的请求，同时建立传输通道（SocketChannel），通过轮询的方式交给一个 Processor 处理。这里还有一个 RequestChannel（ArrayBlockingQueue），用于建立 Processor 和 Handler 的连接，MainReactor（Acceptor）只负责监听 OP_ACCEPT 事件，监听到之后把 SocketChannel 传递给 SubReactor（Processor），每个 Processor 都有自己的 Selector，SubReactor 会监听并处理其他的事件，并最终把具体的请求传递给 KafkaRequestHandlerPool。

2. 线程模型中主要组件的初始化

从图上可以看出在 broker 启动时会调用 KafkaServer 的 startup 方法（这里我们默认还是基于 zookeeper 的模式）。startup 方法中主要创建：1.KafkaApis 的处理类：dataPlaneRequestProcessor 和 controlPlaneRequestProcessor 的创建2.KafkaRequestHandlePool：dataPlaneRequestHandlerPool 和 controlPlaneRequestHandlerPool 创建3.socketServer 的初始化4.controlPlaneAcceptorAndProcessor 和 dataPlaneAcceptorAndProcessor 的创建其实这里还有一步图上没有但是也在 startup 方法中非常重要的方法，线程启动：enableRequestProcessing 是通过初始化完成的 socketServer 进行。 <