ApachePulsar-CSDN博客

原创架构革命 | LinkedIn 也无法拯救的 Kafka：Pulsar 的存算分离成了终极答案？

其实根据根据真实调研，绝大多数用户的使用量，其 Topic 数都到不了百万级，对于几十万的 Topic，得益于 Pulsar 架构天然分散了压力，BookKeeper 同样在底层为元数据（如租户、命名空间、主题信息等）提供服务，并可横向扩展，绝大多数时候 Zookeeper 是胜任大数据量元数据管理工作的。Kafka 的元数据管理其实存在很严重的瓶颈。云服务的发展速度远超预期，从 2010 年的概念阶段到 2015 年的快速普及，再到今天的云原生时代，仅用了十余年时间就彻底重塑了整个IT基础设施。

2025-08-08 17:00:23 566

原创重大技术转向：LinkedIn 抛弃自家创造的 Kafka ，又重新造了个 Pulsar 的轮子？

Kafka 的扩展性和可操作性挑战正是 Pulsar 在设计之初就试图解决的问题。

2025-08-05 13:53:09 702

原创重大技术转向：LinkedIn 抛弃自家创造的 Kafka ，又重新造了个 Pulsar 的轮子？

同时，协调器还维护 Segment 的元数据，如 Segment 的副本集、Segment 的激活/封存/重新分配状态、Segment 的起始偏移和长度以及创建时间和封存时间。团队利用这种广播机制发布精简的全局集群状态信息，包括基本的主机信息、端口配置和集群中 Broker 的属性，以及 DS-RSM 哈希环的关键信息，如每个 vnode 的哈希边界范围、vnode 的领导者信息、当前任期和复制状态等。为实现高扩展性，它采用了数据和元数据分片技术，维持最小化的全局状态，并利用分散式的集群成员协议。

2025-08-01 16:00:52 567

原创谙流 ASP 社区版正式发布：一行命令轻松实现 Pulsar 集群管理

ASP 社区版是一款完全免费的 Pulsar 集群管理控制台，基于 Docker 构建，一行命令即可完成本地部署

2025-07-31 09:17:49 402

原创 Apache Pulsar × AI Agent：智能系统消息基础架构初探

它能够主动理解目标、分解任务、调用工具（API）、与环境交互并持续优化。消息队列的核心优势——可靠、解耦、异步、缓冲——在 AI Agent 分布式、异构、高并发、长流程的生态中，价值不仅未被削弱，反而被显著放大，成为串联智能体的生命线。Apache Pulsar 是 Apache 软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。

2025-07-30 18:07:24 746

转载谙流 ASP 社区版正式发布：一行命令轻松实现 Pulsar 集群管理

实时监控各分区的详细状态和性能指标，包括消息入站、出站速率、存储大小等，协助运维人员精准定位性能瓶颈，快速解决数据不均衡问题，保障关键业务消息的稳定投递。未来，我们将继续立足开源，携手全球开发者，共同构建高可靠、高一致、高吞吐、高可用、高并发、低延迟的下一代消息流基础设施，让每一次数据流动都创造更多价值。：直观易用的策略配置界面，简化租户资源配额、存储策略、数据保留周期等相关配置过程，配置效率upup！：轻松接入并管理您已有的 Pulsar 集群，提供一站式的管理视图和流畅的操作体验。

2025-07-30 18:01:49 38

转载技术文档 | Apache Pulsar × AI Agent：智能系统消息基础架构初探

它能够主动理解目标、分解任务、调用工具（API）、与环境交互并持续优化。消息队列的核心优势——可靠、解耦、异步、缓冲——在 AI Agent 分布式、异构、高并发、长流程的生态中，价值不仅未被削弱，反而被显著放大，成为串联智能体的生命线。Apache Pulsar 是 Apache 软件基金会顶级项目，是下一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。

2025-07-29 17:30:21 52

原创技术文档 | OpenAI 的 Kafka 演进之路与 Pulsar 迁移潜力

省流：直接选 Pulsar，存算分离、跨集群容灾、生产/消费高可用、端到端低延迟一步到位

2025-07-29 10:59:51 969

转载 Pulsar × Apache | 明天北京见！

收到大会官方的报名成功邮件，如您未收到邮件，请尝试在垃圾邮件中寻找。7 月 25 日至 27 日，作为 Apache 软件基金会（ASF）官方全球系列大会的 Community Over Code Asia 2025 即将在。今年的大会为期 3 天，从 7 月 25 日至 7 月 27 日，各票种价格从 199 元至 1。可直接定位导航至“中关村国家自主创新示范区-会议中心”，会议中心停车位有限，推荐绿色出行。点击底部菜单栏，并选择【我的电子票】绑定您在报名系统中输入的手机号码，即可查看大会门票。

2025-07-24 16:00:25 98

转载 Community Over Code Asia 2025 主题演讲豪华阵容发布！

此前，刘宇成曾领导 Wayfair 的机器学习平台团队，负责扩展服务数百万客户的生产模型。上海开源信息技术协会副秘书长，对外经济贸易大学全球开源协作研究中心副主任，中国计算机学会开源发展委员会执委，开源社顾问、中国汽车工业协会开源顾问、北京智源人工智能研究院开源顾问、国科开源平台联合创始人，原中科院软件研究所 OpenHarmony 团队核心成员，原 OpenHarmony 项目创始生态负责人、教育负责人，原开放原子基金会业务发展部、教育培训部、行业研究部负责人，中国开源硬件和开源教育早期开拓者之一。

2025-07-23 18:31:35 198

原创技术文档 | OpenAI 的 Kafka 演进之路与 Pulsar 迁移潜力

基于 OpenAI 在 Confluent 技术演讲中披露的内容，本文将从 Kafka 在 OpenAI 中的使用场景出发，揭示业务暴涨后的所面临的痛点，并重点介绍 “Proxy代理层”架构（Prism + uForwarder）如何实现业务与基础设施的深度解耦、跨集群容灾无缝迁移等能力。连锁反应，局部故障可能演变为集群级雪崩（如Controller切换失败）单Kafka集群在运维时有非常多的弊端，例如扩分区扩容场景，会导致分区级别不用的情况，导致业务终端，带来集群不可用的风险。

2025-07-23 18:31:35 968

原创 Pulsar 社区周报 | No.20250718

improve][build]将 org.apache.commons:commons-lang3 从 3.17.0 升级到 3.18.0。[improve][pip]PIP-432：在 EncryptionContext 中添加 isEncrypted 字段。[improve][client]PIP-425：支持连接到多端点 serviceUrls 的下一个可用端点。[improve][pip]PIP-429：通过跳过有效载荷缓冲区解析来优化紧凑的最后条目的处理。

2025-07-19 08:02:00 1028

原创公测邀请 | 再见，Pulsar Manager！你好，ASP 社区版！

基于这些原因，我们开发了 ASP 社区版（AscentStream Platform Community Edition），一个全新的、现代化的 Pulsar 管控平台，旨在完全取代 Pulsar Manager，为 Pulsar 用户提供更好的管理体验。在 Apache Pulsar 的生态系统中，Pulsar Manager 作为一个开源的管控工具，曾经帮助了无数开发者和运维人员管理他们的 Pulsar 集群。我们对复杂的配置做了整合优化，大大降低了配置错误的可能性，提高了配置效率，特别适合新手用户。

2025-07-17 16:01:01 854

原创技术文档 | 使用 Pulsar Functions 构建实时 AI Pipeline

Pulsar Functions 是基于 Apache Pulsar 的 Serverless 计算框架，它提供了一个方便而强大的解决方案，打破了传统机器学习工作流的局限性。我们的目标是构建一个通过 Pulsar Functions 实现的实时推理引擎，该引擎可以一次性或批量检索低延迟的推测信息。Pulsar Functions 有广阔的使用场景，本文将重点关注其灵活性，并探索它如何为需要实时推测和结果的机器学习 pipeline 提供解决方案。但独立实例的形式更便于我们在实时 AI 的场景下进行实践。

2025-07-15 20:11:24 686

原创 Pulsar 社区周报 | No.20250711

fix][broker]修复非持久主题的复制器总是出现“Producer send queue is full”的错误，如果设置了较小的配置值 replicationProducerQueueSize。[improve][broker]PIP427：将pulsar-admin默认的Mark-Delete速率与Broker配置对齐。[improve][broker][pip-431]PIP-431：在主题统计中添加创建时间戳和最后发布时间戳。一起看看本周有哪些重要更新吧~一起看看本周有哪些重要更新吧~

2025-07-11 19:01:44 1037

转载技术文档 | 当 Agent 遇上 Pulsar：如何重构 A2A 协议，玩转事件驱动架构

通过 Pulsar ，我们成功地将 A2A 的通信底层从一个强绑定的 HTTP 实现，升级为了一个可插拔、事件驱动的架构。

2025-07-08 19:03:29 66

转载 Pulsar 邀您关注 Community Over Code Asia 2025 Messaging 专题

本次演讲我们将重点讲解腾讯云上 Apache Pulsar 在高可用性方面的最佳实践，包括 Broker 集群和 Bookkeeper 集群的高可用性、Zookeeper 集群的高可用性以及跨集群的高可用性实践，希望能够为开发者提供一些参考。在腾讯云，我们开发了基于共享弹性流日志的稳健云 MQTT 解决方案。Senze Zhang 是一位资深的消息队列系统工程师，在高性能消息解决方案的设计、实现和优化方面拥有丰富的经验，参与部署过 RocketMQ、Kafka、MQTT 等多个业界领先的消息队列平台。

2025-07-08 19:03:29 79

原创 Pulsar 社区周报 | No.20250704

improve][build]将 org.apache.commons.lang 替换为 org.apache.commons.lang3。[improve][client][pip]要求将 Java 17 作为 Pulsar Java 客户端 SDK 的最低版本。[improve][client][pip]要求将 Java 17 作为 Pulsar Java 客户端 SDK 的最低版本。[fix][proxy]通过替换 TopicName 为一个简单的转换方法来修复 proxy OOM 问题。

2025-07-04 09:02:11 982

转载技术文档 | 使用 Spring AI 实现一个简单的 Pulsar MCP Server

这是 Spring AI 提供的 MCP 服务器启动器，它处理了与 AI 模型通信的所有底层协议和复杂性，我们只需要专注于实现“工具”即可。它的职责是“理解”用户的意图和我们工具的描述，然后做出决策——应该调用哪个工具，以及传入什么参数。：用户的指令通过我们的应用，交由 LLM 进行“翻译”，翻译结果（工具调用）再由我们的应用执行，最终作用于 Pulsar 集群。：这是 Apache Pulsar 官方提供的 Java 客户端库，是我们的工具最终与 Pulsar 集群交互的桥梁。

2025-07-01 19:09:13 95

原创 Pulsar 社区周报 | No.20250627

improve][pip]PIP-425：支持连接到下一个可用的端点以用于多端点 serviceUrls。[fix][txn]通过确保将批量大小添加到 CommandAck 中，修复事务中的负面未确认消息。[fix][txn]通过确保将批量大小添加到 CommandAck 中，修复事务中的负面未确认消息。一起看看本周有哪些重要更新吧~[improve][broker]从该订阅中添加在上一个时间间隔内过期消息计数指标。[improve][broker]从该订阅中添加在上一个时间间隔内过期消息计数指标。

2025-06-27 19:02:38 845

转载社区动态 | Apache Pulsar 入选上海开源创新卓越成果

Apache Pulsar 是 Apache 软件基金会顶级项目，是新一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性，为云原生时代实时消息流传输、计算和存储提供最佳解决方案。未来，Pulsar将继续践行开源精神，在消息流平台领域持续发力，为开源社区提供高可用、高可靠、高一致、低延迟的云原生解决方案。等方面的技术优势，展现出卓越的创新潜力与应用价值。

2025-06-25 21:03:58 70

原创 Pulsar 社区周报 | No.20250620

fix][ml]游标在禁用 deletionAtBatchIndexLevelEnabled 的情况下会忽略具有空 ack-set 的位置。[fix][broker]一旦集群配置不正确，broker 即使在您删除了配置后仍然会保持错误的集群配置。[fix][broker]一旦集群配置不正确，broker 即使在您删除了配置后仍然会保持错误的集群配置。[improve][pip]PIP-422 支持全局主题级策略：复制集群和用于删除主题级策略的新 API。

2025-06-20 08:58:11 928

原创 Pulsar 社区周报 | No.20250612

improve][broker]在 broker.conf 中添加 managedCursor/LedgerInfoCompressionType 设置。[improve][broker]在 broker.conf 中添加 managedCursor/LedgerInfoCompressionType 设置。[improve][broker]将maxBatchDeletedIndexToPersist设置为可配置，并记录其他相关配置。这里将记录 Pulsar 社区每周的重要更新，每周发布。

2025-06-15 22:47:22 959

原创 Pulsar 社区周报 | No.20250605

fix][broker]修复问题：即使分区主题仍然存在，子主题被删除后，主题策略也会被删除。[fix][broker]修复问题：即使分区主题仍然存在，子主题被删除后，主题策略也会被删除。[improve][ml]释放闲置的卸载读取句柄，仅当引用计数为 0 时。[improve][ml]释放闲置的卸载读取句柄，仅当引用计数为 0 时。[fix][broker]修复在压缩和主题删除同时执行时出现的死锁问题。[fix][broker]修复在压缩和主题删除同时执行时出现的死锁问题。

2025-06-09 09:05:51 836

原创 Pulsar 社区周报 | No.20250530

fix][test]修复不稳定的 PulsarBrokerStatsClientTest.testTopicInternalStats。[improve][broker]启用对待处理的读取条目的并发处理，以避免重复读取。[improve][broker]启用对待处理的读取条目的并发处理，以避免重复读取。[fix][io]成功处理消息后确认 RabbitMQ 消息。[fix][broker]解决消息过期删除率频繁更新的问题。[fix][broker]解决消息过期删除率频繁更新的问题。

2025-05-30 17:51:53 1015

转载深度解析：腾讯 BiFang 如何借助 Apache Pulsar 引领湖流一体新潮流

腾讯天穹大数据去年发布了湖流一体的雏形系统——BSS 流批一体存储，该方案基于天穹 Pulsar 实现了消息队列和数据湖使用同一份数据，统一流和湖的客户端，支持数据秒级写入和查询，完成和 InLong 数据集成、Iceberg 数据湖等生态对接。过去半年，腾讯大数据实时团队对 BSS 进一步重构和优化，系统升级为 BiFang 湖流一体存储引擎，新架构支持全增量数据查询、端到端数据实时可见，预计节省 40% 存储成本、降低 70% 运维复杂度，并且已在腾讯视频、游戏、AI 多模态管道等业务领域落地。

2025-05-30 17:51:53 347

原创 OpenAI 的 Kafka 架构：实现 20 倍增长与五个 9 可靠性，为何评论中却反复提及 Apache Pulsar？

虽然未看到完整设计，但Apache Pulsar原生提供了分区与客户端间的代理层，而本文提到的代理可能在牺牲事务等功能的同时，也削弱了快速写入特性。OpenAI 在目标收益中关注的高可用性、高扩展性、易运维性等，都和存算分离的云原生架构紧密相关，这也是原文评论中 Pulsar 被重复提及的原因。： "我同意Nitin的观点—这确实取决于具体的使用场景。OpenAI 在目标收益中关注的高可用性、高扩展性、易运维性等，都和存算分离的云原生架构紧密相关，这也是原文评论中 Pulsar 被重复提及的原因。

2025-05-27 21:00:07 1144

原创 Pulsar 社区周报 | No.20250523

fix][test]修复不稳定的 MultiTopicsReaderTest.testMultiNonPartitionedTopicWithRollbackDuration。这里将记录 Pulsar 社区每周的重要更新，每周发布。[fix][broker]全局主题策略在卸载主题后不再生效，而持久化的全局主题策略也从未生效。[fix][broker]全局主题策略在卸载主题后不再生效，而持久化的全局主题策略也从未生效。[fix][cli]修复 pulsar-shell 无法发送包含引号和空格的消息。

2025-05-23 16:06:39 773

原创 Pulsar 社区周报 | No.20250516

fix][test]简化 BetweenTestClassesListenerAdapter，并修复 BeforeTest/AfterTest 注解的问题。这里将记录 Pulsar 社区每周的重要更新，每周发布。[fix][build]确保 buildtools 与 Java 8 兼容，并修复剩余的兼容性问题。[fix][build]确保 buildtools 与 Java 8 兼容，并修复剩余的兼容性问题。[fix][io]修复 Pulsar Python 函数中的 SyntaxWarning。

2025-05-16 09:11:56 918

原创 Pulsar 社区周报 | No.20250509

fix][test]修复不稳定的 ManagedCursorTest.testLastActiveAfterResetCursor 测试，并禁用失败的 SchemaTest。[fix][test]修复不稳定的 ManagedCursorTest.testLastActiveAfterResetCursor 测试，并禁用失败的 SchemaTest。[fix][misc]通过让 ByteBufPair.coalesce 释放输入的 ByteBufPair 来修复测试中的 ByteBuf 泄漏。

2025-05-09 09:09:04 1071

原创 Pulsar 社区周报 | No.20250411

fix][test]修复不稳定的 BrokerServiceChaosTest.testFetchPartitionedTopicMetadataWithCacheRefresh。[fix][broker]修复 ExtensibleLoadManager，以便能够在不阻塞负载管理器线程的情况下并发地覆盖所有权。[fix][broker]修复 ExtensibleLoadManager，以便能够在不阻塞负载管理器线程的情况下并发地覆盖所有权。这里将记录 Pulsar 社区每周的重要更新，每周发布。

2025-04-11 10:55:51 934

转载 Pulsar 架构的含金量还在上升 | AI Agent 的未来是事件驱动的

此外，由于 LLM（大语言模型）主要基于公开数据训练，它们无法直接访问专有的行业数据，因此在回答需要具体上下文的信息时往往显得力不从心。AI 的未来不仅仅是构建更智能的 Agent——更重要的是创建能够随着技术进步而进化和扩展的系统。与第一波 AI 受限于单一领域不同，生成式模型是在海量、多样化的数据集上进行训练的，因此具备了跨不同场景泛化的能力。它们可以生成文本、图像，甚至视频，为 AI 的应用开辟了全新的可能性。代理的输出可以无缝集成到 CRM、CDP、分析工具等中，创建一个统一的、可适应的生态系统。

2025-03-24 10:00:23 134

原创 Pulsar 社区周报 | No.20250320 ｜广州 Meetup 报名倒计时！

fix][broker]修复在未初始化生产者情况下发布 Metadata-Event 时出现的 NPE (Null Pointer Exception)。[fix][broker]修复在未初始化生产者情况下发布 Metadata-Event 时出现的 NPE (Null Pointer Exception)。[fix][broker]修复元数据事件同步器的生产者创建重试机制，以确保生产者最终能够成功创建。[fix][broker]修复元数据事件同步器的生产者创建重试机制，以确保生产者最终能够成功创建。

2025-03-23 22:23:53 862

TGIP-CN-Apache Pulsar 问答专场.pdf

Apache Pulsar 在 BIGO 的实践分享

Apache Pulsar复制订阅相关的二三事

Pulsar Storage on BookKeeper

详解 Apache Pulsar 2.6.0 功能特性

Apache Pulsar 2.6.1 版本发布前瞻

Apache Pulsar管理工具Pulsar Manager的介绍和使用

Pulsar-Flink连接器的介绍与使用

空空如也