小米消息队列的选型与实践

文章详细介绍了小米公司使用的消息队列,包括RabbitMQ的邮件中继场景及其问题,RocketMQ在电商系统中的优势和改进,以及自研的Talos在高并发和一致性上的特点。作者指出RabbitMQ虽为主推但存在缺陷,而RocketMQ和Talos因其特性更适合业务需求。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

        之前写了一篇关于消息队列的文章:《消息队列介绍与对比》,本文主要介绍消息队列在实际工作中的使用情况(截止到2023年,因为我2023年离职了,后续的情况不了解了,哈哈)。

        市面上的多种消息队列都有在小米应用,如Notify,Kafka,EMQ,RabbitMQ,Talos,RocketMQ,MQTT等。我们并不是为了使用而使用,主要还是因为部门较多,不同部门业务不同,侧重点不同,因此在选型消息队列时就会根据实际业务需求去选择更合适的消息队列。

        在目前的单位主要还是RabbitMQ,RocketMQ,Kafka主要用于日志采集种。

        本文主要介绍RabbitMQ,RocketMQ,Talos和Notify等等。

1、RabbitMQ的使用

        在小米使用RabbitMQ最典型的场景是邮件中继。在2021年,公司要求所有部门自动发送邮件时不可直连邮件服务器,而是要经过一个邮件中继Guard,其最主要的目的是让Guard做一层治理,比如流量管控,避免大量请求都打到邮件服务器。如果某个大神程序没写好,每个订单都发送一封邮件,一天几十万订单,可是要了命了。Guard内部就使用了RabbitMQ,业务系统将邮件发送到Guard,Guard会将所有邮件作为消息头递到消息队列,随后RabbitMQ负责将消息push到消费者(邮件服务器),在上面有过介绍,push消息的速率完全由broker掌握,我们可以控制Push消息的频率,类似大家经常说的限流,消峰,这就可以有效避免邮件服务器被瞬时大量邮件打垮。

<
DDMQ 是滴滴出行架构部基于 Apache RocketMQ 构建的消息队列产品。作为分布式消息中间件,DDMQ 为滴滴出行各个业务线提供了低延迟、高并发、高可用、高可靠的消息服务。DDMQ 提供了包括实时消息、延迟消息和事务消息在内的多种消息类型以满足不同的业务需求。 用户通过统一的 Web 控制台和傻瓜式的 SDK 即可轻松接入 DDMQ 生产和消费消息,体验功能丰富、稳定的消息服务。 主要功能特性: 1、消息模型:支持 P2P, Pub/Sub 等消息模型 2、海量消息存储,支持消息回溯:使用 RocketMQ 和 Kafka 作为消息的底层存储引擎。 3、低延迟高吞吐:毫秒级延迟,单机百万条消息吞吐。 4、延迟消息:单条消息设置精确到秒级的延迟时间,支持 Thrift、HTTP 形式的回调接口。提供了丰富的消息类型,包括延迟消息和循环延迟消息。 5、事务消息: 提供类似 X/Open XA 的分布事务功能,通过 DDMQ 事务消息能够达到分布式事务的最终一致。 6、多语言客户端: 提供了主流开发语言的 SDK,包括 PHP, Java, Go, C/C++, Python 等。API 上保持着最易使用的 High Level 形式。 7、支持复杂的消息转换过滤功能:支持使用 Groovy 脚本在服务端进行消息内容的转化和过滤,能做大大地减少客户端和服务器的数据传输,同时减少客户端的处理消息的负载。 8、提供了一个易用性高的 Web 用户控制台,方便用户在控制台上申请 Topic, ConsumerGroup, Subscription 等资源。 提供消费进度的查看和重置功能。 模块介绍: carrera-common 提供其他模块的公共代码,封装了 ZK 操作。 carrera-producer 生产消息代理模块,内置 Thrift Server, 负责将 client 的生产的消息转发给 broker。 carrera-consumer 消费消息代理模块, 内置 Thrift Server, 提供 SDK 拉取和 HTTP 推送等方式将消息发给订阅方。 carrera-chronos 延迟消息模块,使用 RocksDB 作为延迟消息的存储引擎。 carrera-sdk 生产和消费消息的 SDK 代码, 支持 Java/C/C++/Go/PHP/Python 等主流语言。 rocketmq 基于开源 RocketMQ 修改(版本 4.2.0),增加了 broker 主从自动切换等特性。 carrera-console 基于 Spring 开发的用户控制台,管理配置。 carrera-monitor 监控模块,提供消费积压监控和集群健康监控。 carrera-docker 提供单机版的 DDMQ 镜像,方便部署和使用。 外部依赖: 64bit OS, Linux/Unix/Mac 64bit JDK 1.8+ Maven 3.2.x MySQL 5.7.x Tomcat 7/8/9 Zookeeper 3.4.x
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值