消息队列 Kafka 入门篇(三) -- Springboot 集成

最新推荐文章于 2025-04-30 15:28:07 发布

dazhong2012

最新推荐文章于 2025-04-30 15:28:07 发布

阅读量884

点赞数 28

CC 4.0 BY-SA版权

本文链接：https://blog.csdn.net/dazhong2012/article/details/138138637

本文详细介绍了如何在SpringBoot项目中集成ApacheKafka，包括添加Maven依赖、配置application.yml、生产者和消费者的使用、事务处理以及回调机制。实例代码展示了如何发送消息、设置回调函数以及事务提交等关键操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

引言

kafka 系列相关文章：

一、运行环境 :

windows10
jdk 11
kafka 2.13

二、springboot 项目集成 kafka

1. 添加 kafka Maven 依赖：

<dependency>
    <groupId>org.springframework.kafka</groupId>
    <artifactId>spring-kafka</artifactId>
    <version>2.5.10.RELEASE</version>
</dependency>

2. 配置 application.yml

spring:
  application:
    name: application-kafka
  kafka:
    bootstrap-servers: localhost:9092 #这个是kafka的地址,对应你server.properties中配置的
    producer:
      batch-size: 16384 #批量大小
      acks: -1 #应答级别:多少个分区副本备份完成时向生产者发送ack确认(可选0、1、all/-1)
      retries: 10 # 消息发送重试次数
      #transaction-id-prefix: transaction
      buffer-memory: 33554432
      key-serializer: org.apache.kafka.common.serialization.StringSerializer
      value-serializer: org.apache.kafka.common.serialization.StringSerializer
      properties:
        linger:
          ms: 2000 #提交延迟
        #partitioner: #指定分区器
          #class: pers.zhang.config.CustomerPartitionHandler
    consumer:
      group-id: testGroup #默认的消费组ID
      enable-auto-commit: true #是否自动提交offset
      auto-commit-interval: 2000 #提交offset延时
      # 当kafka中没有初始offset或offset超出范围时将自动重置offset
      # earliest:重置为分区中最小的offset;
      # latest:重置为分区中最新的offset(消费分区中新产生的数据);
      # none:只要有一个分区不存在已提交的offset,就抛出异常;
      auto-offset-reset: latest
      max-poll-records: 500 #单次拉取消息的最大条数
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      properties:
        session:
          timeout:
            ms: 120000 # 消费会话超时时间（超过这个时间 consumer 没有发送心跳，就会触发 rebalance 操作）
        request:
          timeout:
            ms: 18000 # 消费请求的超时时间
    listener:
      missing-topics-fatal: false # consumer listener topics 不存在时，启动项目就会报错
#      type: batch

3.kafka 生产者

@RestController
public class kafkaProducer {
   

    @Autowired
    private KafkaTemplate<String, Object> kafkaTemplate;

    /**
     * 1.简单生产者
     * @param message
     */
    @GetMapping("/kafka/normal/{message}")
    public void sendNormalMessage(@PathVariable("message") String message) {
   
        kafkaTemplate.send("sb_topic", message);
    }


    /**
     * 2.带回调的生产者
     * 回调的第一种写法
     * @param message
     */
    @GetMapping("/kafka/callbackOne/{message}")
    public void sendCallbackOneMessage(@PathVariable("message") String message) {
   
        kafkaTemplate.send("sb_topic"

最低0.47元/天解锁文章