新一代消息中间件-Pulsar

最新推荐文章于 2025-06-26 14:05:52 发布

zmzhou-star

最新推荐文章于 2025-06-26 14:05:52 发布

阅读量1.1k

点赞数 1

CC 4.0 BY-SA版权

文章标签：分布式消息队列

本文链接：https://blog.csdn.net/weixin_43276938/article/details/116492089

Apache Pulsar 是一个云原生的分布式消息流平台，提供多租户、高性能、低延迟和高扩展性的特性。它支持多种订阅模式，并利用 Apache BookKeeper 进行持久化存储。Pulsar 具有单个实例支持多个集群的能力，可实现跨机房的数据复制。文章介绍了Pulsar的消息发送架构，提供了单机安装步骤和Java实例，包括生产者和消费者的使用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

简介

Pulsar 是一个用于服务器到服务器的消息系统，具有多租户、高性能等优势。 Pulsar 最初由 Yahoo 开发，目前由 Apache 软件基金会管理。
是 Apache 软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性，被看作是云原生时代实时消息流传输、存储和计算最佳解决方案；
Pulsar 的关键特性如下：
- Pulsar 的单个实例原生支持多个集群，可跨机房在集群间无缝地完成消息复制。
- 极低的发布延迟和端到端延迟。
- 可无缝扩展到超过一百万个 topic。
- 简单的客户端 API，支持 Java、Go、Python 和 C++。
- 支持多种 topic 订阅模式（独占订阅、共享订阅、故障转移订阅）。
- 通过 Apache BookKeeper 提供的持久化消息存储机制保证消息传递。
  - 由轻量级的 serverless 计算框架 Pulsar Functions 实现流原生的数据处理。
- 基于 Pulsar Functions 的 serverless connector 框架 Pulsar IO 使得数据更易移入、移出 Apache Pulsar。
- 分层式存储可在数据陈旧时，将数据从热存储卸载到冷/长期存储（如S3、GCS）中。

Pulsar 消息发送架构图

处理一个 producer 和一个订阅 consumer 的分块消息

处理多个 producer 和一个订阅 consumer 的分块消息

单机安装 Pulsar

下载二进制安装包：https://archive.apache.org/dist/pulsar/pulsar-2.7.1/apache-pulsar-2.7.1-bin.tar.gz

$ tar xvfz apache-pulsar-2.7.1-bin.tar.gz
$ cd apache-pulsar-2.7.1
$ ./bin/pulsar standalone
# 后台启动
$ ./bin/pulsar-daemon start standalone
# 终止后台运行
$ ./bin/pulsar-daemon stop standalone

查看日志，启动成功会有如下日志：tail -100f logs/pulsar-standalone-XXX.log

Java实例

编辑 pom.xml，添加pulsar依赖

<!-- https://mvnrepository.com/artifact/org.apache.pulsar/pulsar-client -->
<dependency>
    <groupId>org.apache.pulsar</groupId>
    <artifactId>pulsar-client</artifactId>
    <version>2.7.1</version>
</dependency>
<!--对自定义配置项生成自己的配置元数据文件-->
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-configuration-processor</artifactId>
    <optional>true</optional>
</dependency>

编辑 application.properties，如下：

server.port=8086
# pulsar服务端地址
pulsar.url = pulsar://192.168.163.131:6650
# 多个topic以逗号分隔
pulsar.topic= pulsar-topic
# 消费者组
pulsar.subscription=pulsar-topicGroup

Pulsar配置文件类 PulsarConfig

import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.context.annotation.Configuration;
import lombok.Data;
@Data
@Configuration
@ConfigurationProperties(prefix = "pulsar")
public class PulsarConfig {
   
   
	/**
	 * pulsar服务端地址
	 */
	private String url;
	/**
	 * topic
	 */
	private String topic;
	/**
	 * 消费者组
	 */
	private String subscription;
}

生产者（Producer）

import java.util.concurrent.CompletableFuture;
import java.util.concurrent.TimeUnit;
import javax.annotation.PostConstruct;
import org.apache.pulsar.client