1. 调整producer的消息确认参数“acks”
- acks为
1
时表示只保证leader写入成功,假如leader写入成功后还未将消息同步到follower副本便发生崩溃,会造成消息丢失 - acks为
0
时表示生产者只管发送,不管broker是否收到消息,消息丢失概率更大 - acks设置为
-1
或者all
表示leader以及所有副本都要写入成功,此种情况下还可能会丢失,因为如果min.insync.replicas
参数值为1
的话,此时ISR只有一个leader副本,此时和acks为1
的效果一样。
综上,如果要保证消息不丢失需要将参数acks设置为
-1
或者all
,同时将参数min.insync.replicas
设置为大于1的整数。这种方式可靠性最高,但是性能最为低下
2. 调整producer发送重试此时 retries
- 该参数值的默认值时
0
,不进行重试,可以根据业务将retries设置为大于0的整数,同时设置合理的重试间隔retry.backoff.ms
。 - 如果消息过大,超过
max.request.size
就不能进行重试了,会直接抛出RecordTooLargeException
消息太大了,不会进行重试,直接抛出异常异常。 - 如果重试后或者超过最大消息限制抛出异常了,那么可以将消息记录入库,然后根据实际情况调整后重新发送。