kafka发送消息时弄丢消息怎么办

1. 调整producer的消息确认参数“acks”

  1. acks为1时表示只保证leader写入成功,假如leader写入成功后还未将消息同步到follower副本便发生崩溃,会造成消息丢失
  2. acks为0时表示生产者只管发送,不管broker是否收到消息,消息丢失概率更大
  3. acks设置为-1或者all表示leader以及所有副本都要写入成功,此种情况下还可能会丢失,因为如果min.insync.replicas参数值为1的话,此时ISR只有一个leader副本,此时和acks为1的效果一样。

综上,如果要保证消息不丢失需要将参数acks设置为-1或者all,同时将参数min.insync.replicas设置为大于1的整数。这种方式可靠性最高,但是性能最为低下

2. 调整producer发送重试此时 retries

  1. 该参数值的默认值时0,不进行重试,可以根据业务将retries设置为大于0的整数,同时设置合理的重试间隔retry.backoff.ms
  2. 如果消息过大,超过max.request.size就不能进行重试了,会直接抛出RecordTooLargeException
    消息太大了,不会进行重试,直接抛出异常异常。
  3. 如果重试后或者超过最大消息限制抛出异常了,那么可以将消息记录入库,然后根据实际情况调整后重新发送。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值