
消息队列
文章平均质量分 89
消息队列系列博客
Nicky.Ma
优秀
展开
专栏收录文章
- 默认排序
- 最新发布
- 最早发布
- 最多阅读
- 最少阅读
-
Kafka生产者事务机制原理
Kafka生产者事务机制通过2PC(两阶段提交)实现"恰好一次"语义,解决跨会话重复消息和跨分区原子性问题。核心流程包括:Producer注册事务ID、发送暂存消息、Coordinator预提交状态、正式提交后消息对外可见。事务API提供5个关键方法(如initTransactions、commitTransaction),支持原子性、幂等性和隔离性。实现上依赖内部Topic(__transaction_state)记录状态,消费者仅在事务提交后才能读取消息。该机制简化了分布式消息处理,原创 2025-08-08 15:53:03 · 1485 阅读 · 0 评论 -
Kafka 消息幂等性实现详解:原理、机制与实践
本文详细介绍了Kafka消息幂等性的实现原理与实践。文章首先解释了消息幂等性的概念,即在分布式环境中保证重复消息只被处理一次。然后分析了Kafka需要幂等性的原因,包括网络超时、Broker故障等场景可能导致的重复问题。核心实现原理基于生产者ID(PID)和序列号(Sequence Number)机制,配合Broker端的状态管理。文章还介绍了事务消息的实现方式,通过两阶段提交保证跨分区原子性。最后提供了完整的配置清单、运行验证方法和常见问题解决方案,并附有思维导图辅助理解。原创 2025-08-08 15:52:43 · 1290 阅读 · 0 评论 -
从 LinkedIn 到 Apache:Kafka 的架构设计与应用场景
本文全面介绍了Apache Kafka的核心概念、诞生背景、架构特性及生产实践。从LinkedIn的业务痛点出发,解析Kafka作为分布式流处理平台的三重角色。通过对比表格详解Broker、Partition等核心概念,列举消息传递、日志聚合等典型应用场景,并提供Java API和Spring集成示例。文章特别对比了Kafka与RabbitMQ的差异,指出Kafka适合高吞吐流处理,RabbitMQ更适合复杂路由场景。最后给出学习路线和实战建议,强调技术选型需结合具体业务需求。原创 2025-08-06 10:35:07 · 1101 阅读 · 0 评论 -
Linux 单机部署 Kafka 详细教程(CentOS 7+)
本文详细介绍了在CentOS 7系统上安装配置Kafka消息系统的完整流程。首先说明需要准备Java环境(JDK 8+),并提供了JDK下载、安装和环境变量配置方法。接着重点讲解ZooKeeper的安装部署,包括单机和集群模式配置。随后指导Kafka的下载安装、关键参数配置和启动方法。最后通过创建主题、发送和消费消息验证系统运行情况。全文采用分步骤命令行操作方式,涵盖从环境准备到功能测试的全过程,适合作为Linux环境下搭建Kafka的实践参考。原创 2025-08-06 10:34:47 · 383 阅读 · 0 评论 -
基于 KeepAlived + HAProxy 搭建 RabbitMQ 高可用负载均衡集群
本文详细介绍了基于KeepAlived和HAProxy搭建RabbitMQ高可用负载均衡集群的完整方案。架构采用三节点RabbitMQ集群(1磁盘节点+2内存节点),配合HAProxy实现TCP负载均衡和健康检查,通过KeepAlived实现VIP高可用。文章包含环境准备(软件版本、节点规划)、RabbitMQ集群搭建步骤(Erlang安装、集群配置)、HAProxy负载均衡配置等内容,并提供了详细的网络拓扑图和配置示例。该方案能够有效解决RabbitMQ客户端连接的单点风险,实现故障自动切换与流量分发,保原创 2025-07-22 16:32:14 · 1167 阅读 · 0 评论 -
Prometheus + Grafana 监控 RabbitMQ 实践指南
在微服务架构中,消息队列作为关键组件,其性能和状态直接影响系统稳定性。Prometheus + Grafana 作为流行的开源监控解决方案,能够高效监控 RabbitMQ 的运行状态。本文将详细介绍如何使用 Prometheus 和 Grafana 实现对 RabbitMQ 的可视化监控。通过 Prometheus + Grafana 实现对 RabbitMQ 的可视化监控,可以帮助我们实时了解 RabbitMQ 的运行状态和性能指标。原创 2025-06-10 14:29:20 · 1493 阅读 · 0 评论 -
RabbitMQ 开机启动配置教程
这篇教程详细介绍了在CentOS 7系统中配置RabbitMQ 3.8.4开机自动启动的完整流程。主要内容包括:安装Erlang 21.3及其依赖、安装RabbitMQ并配置环境变量、创建系统服务文件、设置开机启动以及验证服务。教程提供了每个步骤的详细命令和配置示例,特别强调需要注意用户权限、文件权限和防火墙设置等问题。通过遵循这些步骤,用户可以成功实现RabbitMQ服务的自动启动,并能通过管理界面验证服务状态。原创 2025-06-04 15:14:14 · 2066 阅读 · 0 评论 -
RabbitMQ 启动报错 “crypto.app“ 的解决方法
通过上述步骤,您应该能够解决 RabbitMQ 启动时因缺少crypto.app文件而导致的报错问题。如果问题仍未解决,建议检查系统的依赖关系或考虑使用其他方法安装 RabbitMQ,比如使用 Docker 镜像。希望本文对您有所帮助,如果您在使用 RabbitMQ 时遇到其他问题,欢迎随时联系。以上内容为您提供了解决 RabbitMQ 启动报错 “crypto.app” 文件缺失问题的详细方法,帮助您顺利完成 RabbitMQ 的安装和配置。原创 2025-04-29 17:10:30 · 735 阅读 · 0 评论 -
RabbitMQ Linux 安装教程详解
通过以上步骤,您可以在 Linux 系统上成功安装并配置 RabbitMQ,并采取相应的注意事项来避免常见问题。希望本文对您有所帮助,如果您在安装过程中遇到任何问题,欢迎随时联系。以上内容为您提供了一个简洁且详细的 RabbitMQ 安装教程,帮助您在 Linux 系统上顺利完成安装并配置 RabbitMQ,确保其稳定运行。原创 2025-04-29 14:07:17 · 1160 阅读 · 0 评论 -
RabbitMQ架构原理及消息分发机制
在现代分布式系统中,消息队列是不可或缺的组件之一。它不仅能够解耦系统模块,还能实现异步通信和削峰填谷。在众多消息队列中,RabbitMQ 因其高并发、高可靠性和丰富的功能而备受青睐。本文将从 RabbitMQ 的基础概念、架构原理、消息分发机制、持久化与内存管理、插件管理、Java API 编程以及 Spring 集成等方面,全面解析 RabbitMQ 的核心技术和应用场景。原创 2025-04-16 16:43:01 · 1512 阅读 · 0 评论 -
分布式与主流消息中间件总览
分布式系统的发展经历了从单体架构到分布式架构的演进过程。单体架构将所有功能集成在一个进程中,随着业务增长,其扩展性和维护性逐渐成为瓶颈。为了解决这些问题,垂直应用架构和分布式架构应运而生。垂直应用架构将不同功能模块分离到不同的服务中,而分布式架构则进一步将服务分布到多个节点,通过网络通信实现协同工作。消息中间件(Message Queue,简称MQ)是分布式系统中实现异步通信的重要工具。它允许应用程序之间通过消息传递进行解耦,提高系统的灵活性和可扩展性。原创 2025-03-10 11:46:08 · 828 阅读 · 0 评论 -
数据库事务提交后才发送MQ消息解决方案
在项目开发中常常会遇到在一个有数据库操作的方法中,发送MQ消息,如果这种情况消息队列效率比较快,就会出现数据库事务还没提交,消息队列已经执行业务,导致不一致问题。举个应用场景,我们提交一个订单,将流水号放在MQ里,MQ监听到后就会查询订单去做其它业务,如果这时候数据库事务还没提交,也就是没生成订单流水,MQ监听到消息就去执行业务,查询订单,肯定会出现业务不一致问题。原创 2023-11-02 20:45:00 · 1727 阅读 · 0 评论 -
RocketMQ系列之简单例子
前言继我上一篇博客后 分布式消息队列RocketMQ学习教程① 上一篇博客最主要介绍了几种常用的MQ,所以本博客再简单介绍一下RocketMQ的原理和简单的例子,基于Java实现,希望可以帮助学习者RoketMQ搭建Linux版“工于利其事,必先利其器”,所以我们首先需要搭建好RocketMQ, 考虑到学习者不一定有Linux系统的服务器,所以本博客介绍一下Linux和Win...原创 2018-04-12 16:02:53 · 6426 阅读 · 1 评论 -
kafka系列之原理简介
kafka原理简介ProducerBrokerConsumerZookeeperKafka优点单机版安装教程1关闭SELINUX2配置防火墙3安装JDK4下载安装Kafka5配置Kafka6Zookeeper配置7脚本编写8配置脚本开机自行启动9启动kafka10创建topickafka原理简介Kafka是由LinkedIn开发的一个分原创 2017-07-05 15:27:54 · 8992 阅读 · 0 评论 -
RocketMQ系列之原理简介和安装部署
消息中间件简介常用消息队列对比RocketMQKafkaActiveMQRabbitMQZeroMQRocketMQ简介RocketMQ主要组成RocketMQ集群配置附录安装教程JDK安装在usr目录下创建java目录进入java目录下载jdk到usrjava目录然后tar解压可以使用xftp在本地下载jdk或者使用命令curl -O url下载设置环境变量vi编辑原创 2017-10-25 16:36:27 · 11694 阅读 · 0 评论