高并发redis-mysql架构设计

最新推荐文章于 2025-07-03 10:32:25 发布

勤径苦舟

最新推荐文章于 2025-07-03 10:32:25 发布

阅读量3.1k

点赞数 4

CC 4.0 BY-SA版权

分类专栏：架构

本文链接：https://blog.csdn.net/zhou920786312/article/details/96137383

架构专栏收录该内容

48 篇文章

订阅专栏

本文介绍了一种高并发场景下Redis与Mysql结合使用的架构设计方案，包括针对非事务处理的设计思路、DAO方法及单个SQL的处理流程。特别关注了如何在不同操作类型下（如新增、修改、删除和查询）保证数据的一致性和高可用性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

高并发redis-mysql架构设计

流程

总体设计

针对非事务
针对dao方法
针对单个sql

dao代理

在这里插入图片描述

方法请求：
处理指定注解的方法，如果该方法没有注解，就走一般流程（AOP实现），（要考虑到除了注解还有配置方式）
如果注解解析异常返回，设置执行对象的状态30001
dao代理接口
1. 操作类型解析，如果异常就不执行下面的步骤，设置执行对象的状态30002，并返回给方法请求
2. 操作类型解析成功后，获取到执行对象—>初始化补偿表状态30000
操作类型解析，解析方法的请求类型，和请求参数，解析成功后，设置执行对象的初始状态30000。
1. 组装key,默认提供key生成规则，和自定义key生成规则（提供可扩展接口）
2. 新增类型：如果redis没有对应的主键，同步mysql的主键+1，如果有主键值，主键值+1，这一版本不做
3. 修改类型：根据key更新数据，不考虑维护键关系
4. 删除类型：根据key删除数据，不考虑维护键关系
5. 查询类型：根据key查询数据，不考虑维护键关系，且不初始化
执行对象
1. 发送请求给redis处理器，并等待返回的执行对象，根据返回对象更新补偿表，如果连接异常，设置执行对象的状态30003
2. 发送请求给MQ（异步），如果连接异常，设置执行对象的状态30004
3. 发送请求补偿表，如果连接异常，设置执行对象的状态30013
整体做事务（redis事务）

Redis处理器设计

在这里插入图片描述

dao代理：
1. 发送请求给redis处理器，并等待返回的执行对象，根据返回对象更新补偿表，如果连接异常，设置执行对象的状态30003
Redis处理器：（要考虑reids处理器的高可用）
1. 返回执行对象给dao代理
请求类型解析curd
1. 如果解析异常，设置执行对象的初始状态30005
2. 新增类型：如果redis没有对应的主键，同步mysql的主键+1，如果有主键值，主键值+1，这一版本不做
3. 修改类型：根据key更新数据，不考虑维护键关系
4. 删除类型：根据key删除数据，不考虑维护键关系
5. 查询类型：根据key查询数据，不考虑维护键关系
同步mysql
1. 只要考虑查询的情况
2. 如果查询查不到数据，请求sql处理器获取数据，按照key生成规则，同步数据到redis
执行redis读写
1. 对redis操作，不管成功失败，都对执行对象设置对应的状态码
更新补偿表
1. 根据执行redis读写后的执行对象，更新补偿表，这里注意防止dao代理的重复更新补偿表。
整体做事务（redis事务）

sql处理器设计

在这里插入图片描述

sql处理器
1. 请求MQ连接，消费MQ里面的消息（任务id），只要消费，MQ消息就丢弃一条
2. 获取到任务id，到补偿表获取任务id对应的具体信息
执行
1. 解析消息
2. 考虑现有的数据库Dao接口，不改动代码情况下，执行调用dao。（反射实现，或者定义一个消费消息表（redis））
  1. 消费消息表设计：MQ解析任务id，通过任务id从消费消息表中解析获取具体的dao（）
  2. 反射实现：核心参数
    1. 任务id
    2. 全类名
    3. 方法名
    4. 参数
3. 只执行redis处理器处理成功的数据，（查补偿表对应的状态数据）
4. 不管成功或者失败，通过执行结果更新补偿表，（定时修复处理那边需要这里的数据）
5. 控制sql的执行频率（线程池）
  1. 执行频率：检测sql的cpu，内存，连接数，动态设置执行频率，默认
  2. 用户自定义执行频率
补偿表
1. 根据执行结果，更新补偿表
整体做事务（redis事务）

定时修复处理器

在这里插入图片描述

定时修复处理器
1. 获取补偿表的数据，这里有存在连接异常。如果连接异常，切换任一台机器的补偿表（补偿表的高可用）
2. 对数据就行解析处理
3. 修复的数据来源sql处理器和redis处理器
sql处理器
1. 修复数据
2. 修复状态
  1. 成功：删除补偿表数据
  2. 失败
    1. （sql执行失败，非连接问题）：
      1. 记录执行的sql
      2. 给人发送邮件（配置方式，web管理方式，权限配置）
      3. 给人发送短信（配置方式，web管理方式，权限配置）
      4. 将要修复的数据从补偿表中迁移到其他表（修复错误补偿表）
      5. 提供人工修复接口（接口要做权限，安全配置）
    2. （sql执行失败，连接问题）
      1. 连接问题，mysql连接失败,给响应的人员发送短信通知
    3. 修复数据是分层次的，先让运营人员调用修复接口修复，还不能成功，在让开发人员去修复。
整体做事务（redis事务）

执行对象设计(executeO)

核心字段

Integer operationType:操作类型,curd,目前新增不做   
String taskId:任务id,跟踪整个流程  
Class classFullName:代理的class,反射  
String method:代理的方法,反射
Objectp[] args:代理的方法参数,反射
Integer status：状态，与补偿表的补偿机制有关
String key:redis的key
String description:描述
object  returnMessage:返回的消息体
Class  returnType:返回的消息类型，封装返回的消息
Long  createId：创建人ID 
Date  createTime：创建时间
Long  modifyId：修改人ID
Date  modifyTime：修改时间

key生成规则策略

提供对外接口，先扫描有没有用户自定义策略，如果有就加载自定义策略，否则加载默认策略。bean或者配置的方式都可以
执行该接口的方法生成key

默认策略，前缀+按照参数名称排序生成key+后缀.
1. 案例： order_id+(price+userName)+order
用户定义策略（实现某个接口就可以）

启动阶段

将相关的数据同步到redis中
注意限流（多线程）

补偿表设计

字段
	 
	状态
	备注（mysql处理数据的时候，备注结果）
	任务id
	操作类型
	参数
	类名
	方法名

MQ设计

只记录任务id

异常状态状态

30000:补偿表初始化状态
30001:注解解析异常
30002:操作类型解析异常
30003:请求redis处理器异常，连接异常
30004:请求MQ异常，连接异常
30005:redis请求类型解析异常
30006:redis连接异常
30007:redis数据删除异常
30008:redis数据更新异常
30009:补偿表连接异常异常
30010:执行sql异常
30011:redis处理器执行成功
30012:sql处理器执行成功
30013:初始化补偿表异常