AutoMQ 社区双周精选第一期（11.06-11.17）

AutoMQ 社区于今年 11月4日正式开源，不到三周时间，就收到很多的关注和强有力的支持。《双周精选》将以两周一更新的形式，通过简短的内容，为大家介绍我们社区发展的动态及大事件。希望以此，能让社区成员和朋友们更好地了解项目，让更多的开发者参与进来，一起共建 AutoMQ社区！

本期概要

在开源的第一个双周里，AutoMQ 团队与社区共同努力，完成了很多具有挑战性的任务。

1. AutoMQ for Kafka：云盘写入性能优化、Catch-up 预读优化、Spot 实例强制回收容灾。

2. AutoMQ for RocketMQ：可观测性增强、性能优化与稳定性提升、完善质量保证体系。

3. AutoMQ for Kafka 本地快速体验更新！

社区贡献者名单

本周新增社区贡献者：来自腾讯云的雷志远，该 PR 优化了AutoMQ RocketMQ 的 Docker Compose 启动方式。https://github.com/AutoMQ/automq-for-rocketmq/pull/605
👏感谢雷志远的贡献，也欢迎更多的开发者参与开源共建！

AutoMQ for Kafka 精选动态

云盘写入性能优化

为了在充分利用云盘带宽的过程中保证写入耗时的稳定性，考虑到云盘的 IOPS 限制，通过定期 & 大小攒批的方式将数据攒批写入到磁盘中。在 AWS GP3 3000 IOPS 125MB/s 磁盘下，4KB 消息大小平均写入耗时从 4ms 下降到 2ms。
https://github.com/AutoMQ/automq-for-rocketmq/pull/645

Catch-up 预读优化

借鉴 Linux Page Cache 实现，优化了 S3Stream 的预读取机制，提升了追赶读（Catch Up Read）的性能。计划下周实现根据读取速率动态调整预读大小，进一步提升缓存利用效率。https://github.com/AutoMQ/automq-for-rocketmq/pull/657

Spot 实例强制回收容灾

Spot（竞价实例）相比按需实例可以便宜至多 90%，但问题是它可能不经通知就强制回收。通过 issue-447，AutoMQ for Kafka 可以在 Spot 实例被强制回收的情况下，仍旧可以将数据卷挂载到存活的机器，进行秒级容灾恢复。该特性拆分成 Kafka 控制面、S3Stream 模块容灾恢复、AutoScaling 多云运维执行层三块实现，目前进展 80%，预计下周可以完成。https://github.com/AutoMQ/automq-for-kafka/issues/447

AutoMQ for RocketMQ 精选动态

可观测性增强

• 为 Stream、Controller 模块引入 Metrics：增加了对 S3 操作时间分布、Topic 维度的 S3 使用量与消息保留时间等监控。https://github.com/AutoMQ/automq-for-rocketmq/pull/653

• 为 Proxy、Store 模块引入 Trace：新增实时事件追踪功能，方便开发者定位系统中发生的关键事件。https://github.com/AutoMQ/automq-for-rocketmq/pull/606__https://github.com/AutoMQ/automq-for-rocketmq/pull/641

性能优化与稳定性提升

借助完善的可观测能力，我们识别并修复了一系列稳定性与性能问题，对于消息收发等关键链路进行了大量优化。https://github.com/AutoMQ/automq-for-rocketmq/issues/591

完善质量保证体系

我们 fork Apache RocketMQ 的 E2E 测试仓库并进行修改以适配 AutoMQ for RocketMQ 中全新的元数据存储。我们使用 GitHub Action  将 E2E 测试引入开发流程中，并将其作为 PR 合并的前置卡点以保证与 RocketMQ 协议的完整兼容。https://github.com/AutoMQ/automq-for-rocketmq/pull/310

More Things

AutoMQ for Kafka 本地快速体验

AutoMQ for Kafka 本地快速体验更新啦！在本地你就可以轻松拉起一个 AutoMQ for Kafka 集群，并在宿主机上使用客户端访问集群。在这个集群中，不仅你可以体验 AutoMQ for Kafka Partition 秒级迁移能力，还能体验到 Partition 随着流量自动在集群自动迁移。https://docs.automq.com/zh/docs/automq-s3kafka/VKpxwOPvciZmjGkHk5hcTz43nde

以上是本期《双周精选》的内容，欢迎关注我们公众号，我们会定期更新AutoMQ社区的进展。同时，也诚邀各位开源爱好者，持续关注我们社区，跟我们一起构建云原生消息中间件！

关于我们

AutoMQ 是一家专业的消息队列和流存储软件服务供应商。AutoMQ 开源的 AutoMQ Kafka 和 AutoMQ RocketMQ 基于云对 Apache Kafka、Apache RocketMQ 消息引擎进行重新设计与实现，在充分利用云上的竞价实例、对象存储等服务的基础上，兑现了云设施的规模化红利，带来了下一代更稳定、高效的消息引擎。此外，AutoMQ 推出的 RocketMQ Copilot 专家系统也重新定义了 RocketMQ 消息运维的新范式，赋能消息运维人员更好的管理消息集群。

🌟 GitHub 地址：https://github.com/AutoMQ

💻 官网：https://www.automq.com

👀 B站：AutoMQ官方账号

🔍 视频号：AutoMQ

👉 扫二维码加入我们的社区群

关注我们，一起学习更多云原生干货