Pulsar 社区周报 | No.20250718

于 2025-07-19 08:02:00 发布
阅读量759 收藏 17
点赞数 14
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zhaijia03/article/details/149476051

Pulsar Weekly Merge Stars

感谢以下的小伙伴，感谢你们本周为 Apache Pulsar 做的精彩贡献（排名不分先后）

Pulsar Weekly Merge Stars
Pulsar Weekly Merge Stars
❝

@Praveen7294,@nodece,@thomas-bousquet,@BewareMyPower,@coderzc,@lhotari,@liangyepianzhou,@AuroraTwinkle,@codelipenghui,@StevenLuMT,@3pacccccc,@shibd

❞

apache/pulsar

「fix」

  • [fix][proxy]修复Pulsar Proxy中connectionMaxIdleSeconds的默认值。 [1]@lhotari

  • [fix][client]修复在主题模式消费者中自动释放空闲连接的问题。 [2]@lhotari

  • [fix][broker]修复获取延迟交付策略时的空指针异常（NPE） [3]@codelipenghui

  • [fix][test]修复不稳定的测试 BrokerServiceAutoTopicCreationTest.testDynamicConfigurationTopicAutoCreationPartitioned [4]@3pacccccc

  • [fix][io]修复 Kinesis 源连接器中的数据丢失问题 [5]@shibd

「新特性」

  • [improve][misc]优化主题列表哈希，以避免潜在的大字符串分配。 [6]@lhotari

  • [improve][test]为待处理读取条目的并发处理添加测试 [7]@BewareMyPower

  • [improve][build]将 org.apache.commons:commons-lang3 从 3.17.0 升级到 3.18.0 [8]@codelipenghui

  • [improve][ci]修复 #23079：对所有测试应用 Checkstyle 检查。 [9]@Praveen7294

  • [improve][pip]PIP-432：在 EncryptionContext 中添加 isEncrypted 字段 [10]@codelipenghui

  • [improve][broker]通过消息检查增强压缩触发，避免不必要的操作。 [11]@coderzc

  • [improve][pip]PIP-429：通过跳过有效载荷缓冲区解析来优化紧凑的最后条目的处理 [12]@BewareMyPower

  • [improve][client]PIP-425：支持连接到多端点 serviceUrls 的下一个可用端点 [13]@AuroraTwinkle

apache/bookkeeper

「新特性」

  • [improve][build]解决 md 文件中发现的死链接 [14]@StevenLuMT

「others」

  • chore: 清理 Dockerfile 中无用的参数 [15]@nodece

  • 修正文档术语和方法使用 [16]@liangyepianzhou

apache/pulsar-client-go

「others」

  • 功能：添加 pulsar 管理命名空间属性方法用于 PUT/GET/DELETE [17]@thomas-bousquet

Reference

[1] 

[fix][proxy]修复Pulsar Proxy中connectionMaxIdleSeconds的默认值。 : https://github.com/apache/pulsar/pull/24529

[2] 

[fix][client]修复在主题模式消费者中自动释放空闲连接的问题。 : https://github.com/apache/pulsar/pull/24528

[3] 

[fix][broker]修复获取延迟交付策略时的空指针异常（NPE） : https://github.com/apache/pulsar/pull/24512

[4] 

[fix][test]修复不稳定的测试 BrokerServiceAutoTopicCreationTest.testDynamicConfigurationTopicAutoCreationPartitioned : https://github.com/apache/pulsar/pull/24505

[5] 

[fix][io]修复 Kinesis 源连接器中的数据丢失问题 : https://github.com/apache/pulsar/pull/24501

[6] 

[improve][misc]优化主题列表哈希，以避免潜在的大字符串分配。 : https://github.com/apache/pulsar/pull/24525

[7] 

[improve][test]为待处理读取条目的并发处理添加测试 : https://github.com/apache/pulsar/pull/24519

[8] 

[improve][build]将 org.apache.commons:commons-lang3 从 3.17.0 升级到 3.18.0 : https://github.com/apache/pulsar/pull/24514

[9] 

[improve][ci]修复 #23079：对所有测试应用 Checkstyle 检查。 : https://github.com/apache/pulsar/pull/24492

[10] 

[improve][pip]PIP-432：在 EncryptionContext 中添加 isEncrypted 字段 : https://github.com/apache/pulsar/pull/24481

[11] 

[improve][broker]通过消息检查增强压缩触发，避免不必要的操作。 : https://github.com/apache/pulsar/pull/24449

[12] 

[improve][pip]PIP-429：通过跳过有效载荷缓冲区解析来优化紧凑的最后条目的处理 : https://github.com/apache/pulsar/pull/24439

[13] 

[improve][client]PIP-425：支持连接到多端点 serviceUrls 的下一个可用端点 : https://github.com/apache/pulsar/pull/24387

[14] 

[improve][build]解决 md 文件中发现的死链接 : https://github.com/apache/bookkeeper/pull/4637

[15] 

chore: 清理 Dockerfile 中无用的参数 : https://github.com/apache/bookkeeper/pull/4634

[16] 

修正文档术语和方法使用 : https://github.com/apache/bookkeeper/pull/4617

[17] 

功能：添加 pulsar 管理命名空间属性方法用于 PUT/GET/DELETE : https://github.com/apache/pulsar-client-go/pull/1390

图片

Apache Pulsar作为一个高性能、分布式的发布-订阅消息系统，正在全球范围内获得越来越多的关注和应用。如果你对分布式系统、消息队列或流处理感兴趣，欢迎加入我们！

Github: 

https://github.com/apache/pulsar

图片

扫码添加pulsarbot，加入Pulsar社区交流群

最佳实践

互联网

腾讯BiFang | 腾讯云 | 微信 | 腾讯 | BIGO | 360 | 滴滴  | 腾讯互娱 | 腾讯游戏 | vivo | 科大讯飞 | 新浪微博 | 金山云 | STICORP | 雅虎日本 | Nutanix Beam | 智联招聘 

金融/计费

腾讯计费 | 平安证券 | 拉卡拉 | Qraft | 甜橙金融 

电商

Flipkart | 谊品生鲜 | Narvar | Iterable 

机器学习

腾讯Angel PowerFL

物联网

云兴科技智慧城市 | 科拓停车 | 华为云 | 清华大学能源互联网创新研究院 | 涂鸦智能

通信

江苏移动 | 移动云 

教育

网易有道 | 传智教育

推荐阅读

资料合集 | 实现原理 | BookKeeper储存架构解析 | Pulsar运维 | MQ设计精要 | Pulsar vs Kafka | 从RabbitMQ 到 Pulsar | 内存使用原理 | 从Kafka到Pulsar | 跨地域复制 | Spring + Pulsar | Doris + Pulsar | SpringBoot + Pulsar 

图片

ApachePulsar
关注
博客
公测邀请 | 再见，Pulsar Manager！你好，ASP 社区版！
07-17 800
基于这些原因，我们开发了 ASP 社区版（AscentStream Platform Community Edition），一个全新的、现代化的 Pulsar 管控平台，旨在完全取代 Pulsar Manager，为 Pulsar 用户提供更好的管理体验。在 Apache Pulsar 的生态系统中，Pulsar Manager 作为一个开源的管控工具，曾经帮助了无数开发者和运维人员管理他们的 Pulsar 集群。我们对复杂的配置做了整合优化，大大降低了配置错误的可能性，提高了配置效率，特别适合新手用户。
博客
技术文档 | 使用 Pulsar Functions 构建实时 AI Pipeline
07-15 638
Pulsar Functions 是基于 Apache Pulsar 的 Serverless 计算框架，它提供了一个方便而强大的解决方案，打破了传统机器学习工作流的局限性。我们的目标是构建一个通过 Pulsar Functions 实现的实时推理引擎，该引擎可以一次性或批量检索低延迟的推测信息。Pulsar Functions 有广阔的使用场景，本文将重点关注其灵活性，并探索它如何为需要实时推测和结果的机器学习 pipeline 提供解决方案。但独立实例的形式更便于我们在实时 AI 的场景下进行实践。
博客
Pulsar 社区周报 | No.20250711
07-11 997
fix][broker]修复非持久主题的复制器总是出现“Producer send queue is full”的错误，如果设置了较小的配置值 replicationProducerQueueSize。[improve][broker]PIP427：将pulsar-admin默认的Mark-Delete速率与Broker配置对齐。[improve][broker][pip-431]PIP-431：在主题统计中添加创建时间戳和最后发布时间戳。一起看看本周有哪些重要更新吧~一起看看本周有哪些重要更新吧~
博客
技术文档 | 当 Agent 遇上 Pulsar：如何重构 A2A 协议，玩转事件驱动架构
07-08 29
这样的流式通信，我们彻底抛弃了 SSE。但随着我们的系统越来越复杂，我们发现，只靠 HTTP 的“打电话”模式，在某些场景下有点力不从心了。最近 AI Agent 的浪潮是一波接一波，从单个能用工具的智能体，到多个 Agent 协同工作的复杂系统，整个行业都在飞速进化。今天，我就带大家深入幕后，聊聊我们是如何对 A2A 的通信架构进行一次初步的重构，并把 Pulsar 无缝集成进来的。通过这次重构，我们成功地将 A2A 的通信底层从一个强绑定的 HTTP 实现，升级为了一个可插拔、事件驱动的架构。
博客
Pulsar 邀您关注 Community Over Code Asia 2025 Messaging 专题
07-08 41
本次演讲我们将重点讲解腾讯云上 Apache Pulsar 在高可用性方面的最佳实践，包括 Broker 集群和 Bookkeeper 集群的高可用性、Zookeeper 集群的高可用性以及跨集群的高可用性实践，希望能够为开发者提供一些参考。在腾讯云，我们开发了基于共享弹性流日志的稳健云 MQTT 解决方案。Senze Zhang 是一位资深的消息队列系统工程师，在高性能消息解决方案的设计、实现和优化方面拥有丰富的经验，参与部署过 RocketMQ、Kafka、MQTT 等多个业界领先的消息队列平台。
博客
Pulsar 社区周报 | No.20250704
07-04 959
improve][build]将 org.apache.commons.lang 替换为 org.apache.commons.lang3。[improve][client][pip]要求将 Java 17 作为 Pulsar Java 客户端 SDK 的最低版本。[improve][client][pip]要求将 Java 17 作为 Pulsar Java 客户端 SDK 的最低版本。[fix][proxy]通过替换 TopicName 为一个简单的转换方法来修复 proxy OOM 问题。
博客
技术文档 | 使用 Spring AI 实现一个简单的 Pulsar MCP Server
07-01 50
这是 Spring AI 提供的 MCP 服务器启动器，它处理了与 AI 模型通信的所有底层协议和复杂性，我们只需要专注于实现“工具”即可。它的职责是“理解”用户的意图和我们工具的描述，然后做出决策——应该调用哪个工具，以及传入什么参数。：用户的指令通过我们的应用，交由 LLM 进行“翻译”，翻译结果（工具调用）再由我们的应用执行，最终作用于 Pulsar 集群。：这是 Apache Pulsar 官方提供的 Java 客户端库，是我们的工具最终与 Pulsar 集群交互的桥梁。
博客
Pulsar 社区周报 | No.20250627
06-27 810
improve][pip]PIP-425：支持连接到下一个可用的端点以用于多端点 serviceUrls。[fix][txn]通过确保将批量大小添加到 CommandAck 中，修复事务中的负面未确认消息。[fix][txn]通过确保将批量大小添加到 CommandAck 中，修复事务中的负面未确认消息。一起看看本周有哪些重要更新吧~[improve][broker]从该订阅中添加在上一个时间间隔内过期消息计数指标。[improve][broker]从该订阅中添加在上一个时间间隔内过期消息计数指标。
博客
社区动态 | Apache Pulsar 入选上海开源创新卓越成果
06-25 33
Apache Pulsar 是 Apache 软件基金会顶级项目，是新一代云原生分布式消息流平台，集消息、存储、轻量化函数式计算为一体，采用计算与存储分离架构设计，支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性，为云原生时代实时消息流传输、计算和存储提供最佳解决方案。未来，Pulsar将继续践行开源精神，在消息流平台领域持续发力，为开源社区提供高可用、高可靠、高一致、低延迟的云原生解决方案。等方面的技术优势，展现出卓越的创新潜力与应用价值。
博客
Pulsar 社区周报 | No.20250620
06-20 897
fix][ml]游标在禁用 deletionAtBatchIndexLevelEnabled 的情况下会忽略具有空 ack-set 的位置。[fix][broker]一旦集群配置不正确，broker 即使在您删除了配置后仍然会保持错误的集群配置。[fix][broker]一旦集群配置不正确，broker 即使在您删除了配置后仍然会保持错误的集群配置。[improve][pip]PIP-422 支持全局主题级策略：复制集群和用于删除主题级策略的新 API。
博客
Pulsar 社区周报 | No.20250612
06-15 933
improve][broker]在 broker.conf 中添加 managedCursor/LedgerInfoCompressionType 设置。[improve][broker]在 broker.conf 中添加 managedCursor/LedgerInfoCompressionType 设置。[improve][broker]将maxBatchDeletedIndexToPersist设置为可配置，并记录其他相关配置。这里将记录 Pulsar 社区每周的重要更新，每周发布。
博客
Pulsar 社区周报 | No.20250605
06-09 791
fix][broker]修复问题：即使分区主题仍然存在，子主题被删除后，主题策略也会被删除。[fix][broker]修复问题：即使分区主题仍然存在，子主题被删除后，主题策略也会被删除。[improve][ml]释放闲置的卸载读取句柄，仅当引用计数为 0 时。[improve][ml]释放闲置的卸载读取句柄，仅当引用计数为 0 时。[fix][broker]修复在压缩和主题删除同时执行时出现的死锁问题。[fix][broker]修复在压缩和主题删除同时执行时出现的死锁问题。
博客
Pulsar 社区周报 | No.20250530
05-30 994
fix][test]修复不稳定的 PulsarBrokerStatsClientTest.testTopicInternalStats。[improve][broker]启用对待处理的读取条目的并发处理，以避免重复读取。[improve][broker]启用对待处理的读取条目的并发处理，以避免重复读取。[fix][io]成功处理消息后确认 RabbitMQ 消息。[fix][broker]解决消息过期删除率频繁更新的问题。[fix][broker]解决消息过期删除率频繁更新的问题。
博客
深度解析：腾讯 BiFang 如何借助 Apache Pulsar 引领湖流一体新潮流
05-30 298
腾讯天穹大数据去年发布了湖流一体的雏形系统——BSS 流批一体存储，该方案基于天穹 Pulsar 实现了消息队列和数据湖使用同一份数据，统一流和湖的客户端，支持数据秒级写入和查询，完成和 InLong 数据集成、Iceberg 数据湖等生态对接。过去半年，腾讯大数据实时团队对 BSS 进一步重构和优化，系统升级为 BiFang 湖流一体存储引擎，新架构支持全增量数据查询、端到端数据实时可见，预计节省 40% 存储成本、降低 70% 运维复杂度，并且已在腾讯视频、游戏、AI 多模态管道等业务领域落地。
博客
OpenAI 的 Kafka 架构：实现 20 倍增长与五个 9 可靠性，为何评论中却反复提及 Apache Pulsar？
05-27 1079
虽然未看到完整设计，但Apache Pulsar原生提供了分区与客户端间的代理层，而本文提到的代理可能在牺牲事务等功能的同时，也削弱了快速写入特性。OpenAI 在目标收益中关注的高可用性、高扩展性、易运维性等，都和存算分离的云原生架构紧密相关，这也是原文评论中 Pulsar 被重复提及的原因。： "我同意Nitin的观点—这确实取决于具体的使用场景。OpenAI 在目标收益中关注的高可用性、高扩展性、易运维性等，都和存算分离的云原生架构紧密相关，这也是原文评论中 Pulsar 被重复提及的原因。
博客
Pulsar 社区周报 | No.20250523
05-23 739
fix][test]修复不稳定的 MultiTopicsReaderTest.testMultiNonPartitionedTopicWithRollbackDuration。这里将记录 Pulsar 社区每周的重要更新，每周发布。[fix][broker]全局主题策略在卸载主题后不再生效，而持久化的全局主题策略也从未生效。[fix][broker]全局主题策略在卸载主题后不再生效，而持久化的全局主题策略也从未生效。[fix][cli]修复 pulsar-shell 无法发送包含引号和空格的消息。
博客
Pulsar 社区周报 | No.20250516
05-16 908
fix][test]简化 BetweenTestClassesListenerAdapter，并修复 BeforeTest/AfterTest 注解的问题。这里将记录 Pulsar 社区每周的重要更新，每周发布。[fix][build]确保 buildtools 与 Java 8 兼容，并修复剩余的兼容性问题。[fix][build]确保 buildtools 与 Java 8 兼容，并修复剩余的兼容性问题。[fix][io]修复 Pulsar Python 函数中的 SyntaxWarning。
博客
Pulsar 社区周报 | No.20250509
05-09 1056
fix][test]修复不稳定的 ManagedCursorTest.testLastActiveAfterResetCursor 测试，并禁用失败的 SchemaTest。[fix][test]修复不稳定的 ManagedCursorTest.testLastActiveAfterResetCursor 测试，并禁用失败的 SchemaTest。[fix][misc]通过让 ByteBufPair.coalesce 释放输入的 ByteBufPair 来修复测试中的 ByteBuf 泄漏。
博客
Pulsar 社区周报 | No.20250411
04-11 912
fix][test]修复不稳定的 BrokerServiceChaosTest.testFetchPartitionedTopicMetadataWithCacheRefresh。[fix][broker]修复 ExtensibleLoadManager，以便能够在不阻塞负载管理器线程的情况下并发地覆盖所有权。[fix][broker]修复 ExtensibleLoadManager，以便能够在不阻塞负载管理器线程的情况下并发地覆盖所有权。这里将记录 Pulsar 社区每周的重要更新，每周发布。
博客
Pulsar 架构的含金量还在上升 | AI Agent 的未来是事件驱动的
03-24 122
此外，由于 LLM（大语言模型）主要基于公开数据训练，它们无法直接访问专有的行业数据，因此在回答需要具体上下文的信息时往往显得力不从心。AI 的未来不仅仅是构建更智能的 Agent——更重要的是创建能够随着技术进步而进化和扩展的系统。与第一波 AI 受限于单一领域不同，生成式模型是在海量、多样化的数据集上进行训练的，因此具备了跨不同场景泛化的能力。它们可以生成文本、图像，甚至视频，为 AI 的应用开辟了全新的可能性。代理的输出可以无缝集成到 CRM、CDP、分析工具等中，创建一个统一的、可适应的生态系统。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值