Redis Cluster集群架构完全指南

最新推荐文章于 2025-09-13 11:28:29 发布
原创 最新推荐文章于 2025-09-13 11:28:29 发布 · 1.3k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#redis #架构 #数据库

「开学季干货」：聚焦知识梳理与经验分享 10w+人浏览 397人参与

Redis Cluster集群架构完全指南

📝 引言

“不要把所有鸡蛋放在一个篮子里。”——这句古老的投资谚语同样适用于数据库架构设计。在当今互联网应用中，单点故障几乎等同于"系统灾难"。Redis作为高性能的数据存储方案，如何确保其高可用性和可扩展性，成为了架构师们必须面对的课题。

本文将深入探讨Redis Cluster集群架构，从原理出发，详细讲解从配置到调优的全过程，并结合实际场景说明每个操作所解决的具体问题。无论你是正在构建高可用系统的架构师，还是需要保障服务稳定性的运维工程师，本文都能为你提供实用的指导。

📑 全文目录

第一部分：Redis Cluster原理与优势

Redis Cluster是Redis官方提供的分布式集群解决方案，主要解决了海量数据存储和高并发访问的问题，并提供了自动分片和自动故障转移能力。

Redis Cluster的核心原理：

  • 采用分片(Sharding)技术，将数据分散存储在多个节点上
  • 整个集群共有16384个哈希槽(hash slot)，每个键通过CRC16算法映射到一个槽位
  • 每个节点负责一部分槽位，可动态添加或移除节点
  • 采用主从复制模型，每个主节点可以有一个或多个从节点
  • 支持自动故障转移，当主节点故障时，其从节点会自动提升为主节点

Redis Cluster的主要优势：

  1. 自动分片：数据自动分布到多个节点，无需手动分片
  2. 高可用性：支持自动故障转移，无需额外的哨兵组件
  3. 可扩展性：可以在线添加或移除节点，扩展集群容量
  4. 并行处理：多个节点同时处理请求，提高整体并发能力

第二部分：Redis Cluster的应用场景

Redis Cluster适用于以下场景：

  1. 大数据量存储：单节点Redis无法存储的数据量（如超过10GB）
  2. 高并发读写：单节点Redis无法满足的并发请求量
  3. 高可用性要求：需要自动故障转移，避免人工干预
  4. 扩展性要求：业务增长迅速，需要灵活扩展Redis容量
  5. 分布式应用：需要在多个应用实例之间共享数据

第三部分：Redis Cluster集群搭建

3.1 环境准备

在开始搭建Redis Cluster前，我们需要准备以下环境：

  • 至少6台服务器（3主3从是Redis Cluster的最小推荐配置）
  • Redis 5.0+版本（Redis 5.0引入了redis-cli --cluster工具，简化了集群创建过程）
  • 服务器之间网络互通

假设我们有以下6台服务器：

  • 主节点1：192.168.1.101:6379
  • 主节点2：192.168.1.102:6379
  • 主节点3：192.168.1.103:6379
  • 从节点1：192.168.1.104:6379（对应主节点1）
  • 从节点2：192.168.1.105:6379（对应主节点2）
  • 从节点3：192.168.1.106:6379（对应主节点3）

3.2 配置各个节点

操作目的：配置所有Redis节点，使其支持集群模式。

  1. 在所有6个节点上编辑redis.conf配置文件，应用以下配置：
# 设置绑定地址
bind 0.0.0.0

# 设置端口号
port 6379

# 开启守护进程模式
daemonize yes

# 设置数据目录
dir /var/lib/redis

# 开启集群模式
cluster-enabled yes

# 设置集群配置文件（由Redis自动生成和维护）
cluster-config-file nodes-6379.conf

# 设置集群节点超时时间（毫秒）
cluster-node-timeout 15000

# 设置集群节点可达性超时时间
cluster-replica-validity-factor 10

# 开启AOF持久化
appendonly yes

# 设置密码（所有节点的密码必须相同）
requirepass "your_cluster_password"
masterauth "your_cluster_password"

# 配置集群从节点的优先级
cluster-replica-priority 100

# 配置集群的最大重定向次数
cluster-migration-barrier 1

# 配置是否允许集群中的从节点迁移
cluster-allow-reads-when-down yes
  1. 分别在6个节点上启动Redis服务：
redis-server /etc/redis/redis.conf

3.3 创建集群

操作目的：使用redis-cli工具创建Redis Cluster集群，并分配槽位和主从关系。

  1. 在任意一个节点上执行以下命令创建集群：
redis-cli --cluster create 192.168.1.101:6379 192.168.1.102:6379 192.168.1.103:6379 192.168.1.104:6379 192.168.1.105:6379 192.168.1.106:6379 --cluster-replicas 1 -a your_cluster_password

这里的--cluster-replicas 1表示每个主节点有1个从节点，系统会自动分配主从关系。

  1. 执行命令后，系统会显示集群的配置方案，确认是否接受该方案：
>>> Performing hash slots allocation on 6 nodes...
Master[0] -> Slots 0-5460
Master[1] -> Slots 5461-10922
Master[2] -> Slots 10923-16383
Adding replica 192.168.1.105:6379 to 192.168.1.101:6379
Adding replica 192.168.1.106:6379 to 192.168.1.102:6379
Adding replica 192.168.1.104:6379 to 192.168.1.103:6379
>>> Trying to optimize slaves allocation for anti-affinity
[OK] Perfect anti-affinity obtained!
M: a1b2c3d4e5f6a1b2c3d4e5f6a1b2c3d4e5f6a1b2 192.168.1.101:6379
   slots:[0-5460] (5461 slots) master
M: b2c3d4e5f6a1b2c3d4e5f6a1b2c3d4e5f6a1b2c3 192.168.1.102:6379
   slots:[5461-10922] (5462 slots) master
M: c3d4e5f6a1b2c3d4e5f6a1b2c3d4e5f6a1b2c3d4 192.168.1.103:6379
   slots:[10923-16383] (5461 slots) master
S: d4e5f6a1b2c3d4e5f6a1b2c3d4e5f6a1b2c3d4e5 192.168.1.104:6379
   replicates c3d4e5f6a1b2c3d4e5f6a1b2c3d4e5f6a1b2c3d4
S: e5f6a1b2c3d4e5f6a1b2c3d4e5f6a1b2c3d4e5f6 192.168.1.105:6379
   replicates a1b2c3d4e5f6a1b2c3d4e5f6a1b2c3d4e5f6a1b2
S: f6a1b2c3d4e5f6a1b2c3d4e5f6a1b2c3d4e5f6a1 192.168.1.106:6379
   replicates b2c3d4e5f6a1b2c3d4e5f6a1b2c3d4e5f6a1b2c3
Can I set the above configuration? (type 'yes' to accept): yes

输入yes后，Redis会开始创建集群并分配槽位。

3.4 集群验证

操作目的：确认Redis Cluster集群创建成功，能够正常工作。

  1. 连接到集群中的任意一个节点：
redis-cli -c -h 192.168.1.101 -p 6379 -a your_cluster_password

这里的-c参数表示以集群模式连接。

  1. 查看集群信息：
CLUSTER INFO

在输出信息中，你应该能看到类似以下内容：

cluster_state:ok
cluster_slots_assigned:16384
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3
cluster_current_epoch:6
cluster_my_epoch:1
cluster_stats_messages_ping_sent:104
cluster_stats_messages_pong_sent:98
cluster_stats_messages_sent:202
cluster_stats_messages_ping_received:93
cluster_stats_messages_pong_received:104
cluster_stats_messages_meet_received:5
cluster_stats_messages_received:202
  1. 查看集群中的节点列表：
CLUSTER NODES
  1. 在集群中设置一个键值对，验证数据分片功能：
SET test_key "Hello Redis Cluster"

如果一切正常，Redis会自动将该键映射到某个槽位，并可能重定向到负责该槽位的节点。

  1. 在不同节点上验证能否读取到该键值对：
# 连接到另一个节点
redis-cli -c -h 192.168.1.103 -p 6379 -a your_cluster_password
GET test_key

无论连接到哪个节点，都应该能够读取到"Hello Redis Cluster"。

第四部分：Redis Cluster常见问题与解决方案

问题可能原因解决方案
集群无法启动配置文件错误、节点之间网络不通、防火墙阻止检查配置文件、测试网络连通性、调整防火墙规则
槽位分配不均节点添加或移除不当使用redis-cli --cluster rebalance命令重新平衡槽位
集群状态为fail多数主节点不可用、网络分区恢复故障节点、检查网络连接、等待自动恢复
大规模数据迁移时性能下降数据迁移占用大量网络带宽和CPU资源限制迁移速度（使用–cluster-rebalance --cluster-use-empty-masters --cluster-timeout 1000 --cluster-pipeline 10 --cluster-threshold 1）、在业务低峰期进行迁移
客户端连接异常客户端不支持集群模式、连接池配置不当使用支持集群模式的客户端、调整连接池配置、增加重试机制

第五部分：Redis Cluster调优策略

  1. 优化集群性能

    # 调整集群节点超时时间
cluster-node-timeout 15000

# 优化集群总线缓冲区大小
cluster-require-full-coverage no

# 配置从节点迁移策略
cluster-migration-barrier 2

# 配置异步复制和复制积压缓冲区
repl-diskless-sync yes
repl-backlog-size 1gb

  2. 提升集群稳定性

    # 配置自动故障转移的超时时间乘数
cluster-replica-validity-factor 5

# 允许在集群部分节点不可用时继续提供读取服务
cluster-allow-reads-when-down yes

# 配置从节点的选举优先级（值越小优先级越高）
cluster-replica-priority 100

  3. 优化内存使用

    # 设置最大内存和淘汰策略
maxmemory 4gb
maxmemory-policy allkeys-lru

# 优化哈希表内存使用
hash-max-ziplist-entries 512
hash-max-ziplist-value 64

# 优化列表内存使用
list-max-ziplist-size -2
list-compress-depth 0

第六部分：Redis Cluster最佳实践

  1. 合理规划集群规模

    • 生产环境建议至少3主3从的配置
    • 单个集群节点数量不宜过多（建议不超过100个）
    • 每个主节点负责的槽位数据量不宜过大（建议不超过2-4GB）

  2. 优化节点部署

    • 将主从节点分布在不同的物理机器或机架上，避免单点故障
    • 确保节点之间网络带宽充足，减少复制延迟
    • 考虑使用SSD存储来提升性能

  3. 实现应用层优化

    • 使用支持集群模式的客户端库
    • 实现键的分片策略，避免热点键问题
    • 合理设计键的过期时间，减少内存占用
    • 实现客户端的重试机制，处理连接错误和MOVED/ASK重定向

  4. 定期维护集群

    • 定期检查集群状态和槽位分布
    • 监控节点的内存使用、CPU负载和网络流量
    • 定期进行备份和恢复演练
    • 制定详细的扩容和缩容计划

第七部分：集群监控与维护

对于Redis Cluster集群，需要重点监控以下指标：

  1. 集群状态：通过CLUSTER INFO命令监控cluster_state是否为ok
  2. 槽位状态：监控cluster_slots_assigned、cluster_slots_ok、cluster_slots_pfail、cluster_slots_fail等指标
  3. 节点健康状况：监控每个节点的在线状态、角色变化
  4. 故障转移情况：监控自动故障转移的频率和成功率
  5. 数据分片均衡性：监控各节点的数据量和槽位分布情况

为了提高Redis Cluster集群的运维效率和稳定性，建议实施以下自动化运维措施：

  1. 自动化监控告警：

    • 使用Prometheus+Grafana搭建监控系统
    • 配置关键指标的告警阈值（如复制延迟超过10秒、集群状态异常等）
    • 集成告警通知渠道（如邮件、即时通讯工具等）

  2. 自动化备份恢复：

    • 定时执行Redis数据备份
    • 实现备份数据的异地存储
    • 编写自动化恢复脚本，确保在数据丢失时能快速恢复

  3. 自动化故障处理：

    • 利用Redis Cluster自身的自动故障转移能力
    • 实现节点自动重启和恢复机制

  4. 自动化容量规划：

    • 监控数据增长趋势，预测未来容量需求
    • 实现资源自动扩缩容（结合云平台或容器编排系统）

第八部分：总结与展望

Redis Cluster集群架构是实现高可用、高性能、可扩展Redis服务的关键技术。通过本文的详细讲解，我们了解了：

  1. Redis Cluster原理：通过数据分片和自动故障转移实现高可用和高扩展性
  2. 集群搭建过程：从环境准备、节点配置到集群创建的完整步骤
  3. 常见问题解决方案：针对集群运行中可能出现的问题提供了解决方法
  4. 调优策略和最佳实践：通过科学的配置和运维，确保集群的稳定运行

随着Redis技术的不断发展，未来我们还将看到更多创新特性，如更强大的多活能力、更好的内存优化、更智能的分片策略等。作为技术从业者，我们需要不断学习和实践，才能更好地利用Redis的强大功能，为业务发展提供有力的技术支持。

"工欲善其事，必先利其器。"选择合适的Redis架构，并进行科学的配置和调优，将为你的应用系统打下坚实的基础。

作者注：本文基于Redis 6.x版本编写，不同版本的Redis可能存在配置差异，请根据实际使用的版本进行调整。在生产环境中实施前，请务必在测试环境中进行充分验证。

Redis Cluster：从数据分布到故障转移的全方位解读
张彦峰的博客
04-20 177万+
本文深入探讨了Redis Cluster的核心原理与实现，涵盖了数据分布、节点通信、集群伸缩、请求路由、故障转移及运维管理等多个方面。文章首先介绍了Redis Cluster的三种数据分布方案，重点分析了虚拟槽分区方案的优势。随后，详细解析了节点间的Gossip消息通信机制以及请求路由原理，帮助读者理解集群的高效运作。对于集群的扩容与缩容，本文提供了操作步骤与注意事项，特别关注了故障转移机制与集群运维中的挑战。通过这些内容，读者可以更好地掌握Redis Cluster的架构与实践，提升分布式系统的性能与可靠
面试必备指南 ：如何在Redis Cluster模式下高效使用Lua脚本？
无休居士的博客
11-11 1199
综合来看，在redis cluster下使用lua脚本是唯一可以原子化操作序列的方式。为了避免跨slot操作key，可以使用hashtag，也可以用新特性直接操作。但是hashtag无疑是更好的方式，毕竟跨了slot对性能也略有影响，官方也不建议这么操作。
Redis Cluster从入门到实战：分布式缓存集群搭建与核心原理详解
weixin_42148384的博客
06-26 669
Cluster作为Redis原生支持的分布式解决方案，它不仅能轻松突破单节点限制，还自带高可用buff，是生产环境处理海量数据和高并发场景的首选。本文将从核心原理到实战部署，带你彻底搞懂Redis Cluster！
Redis 集群操作器(Redis Cluster Operator) 使用指南
gitblog_00488的博客
08-10 497
Redis 集群操作器(Redis Cluster Operator) 使用指南 1. 项目介绍 Redis Cluster Operator 是一个用于在 Kubernetes 环境中创建和管理 Redis 集群的工具。它基于 Operator Framework 构建，允许自动化部署、扩展和维护复杂的 Redis 集群。通过使用这个 Operator，你可以轻松地在 Kubernetes 上配...
Redis集群架构方案
Made In SQL
06-30 624
采用Redis Cluster + Sentinel的混合架构，实现数据分片与故障自动转移。该架构包含6个物理节点（3主3从），部署在两台物理服务器上，每台服务器运行3个Redis实例（1主2从或2主1从）。数据分片采用16384个哈希槽，通过CRC16算法将键分布到不同槽位，每个主节点负责管理5461-5462个槽位范围。集群状态维护采用Gossip协议，节点间通过PING/PONG消息交换集群拓扑信息，默认每10秒通信一次。
Redis Cluster集群部署神脚本！CSDN万赞教程+自动化一键扩容（附生产级坑点避坑指南）
shejizuopin的博客
03-23 180
这套部署方案已在多家互联网金融公司落地，建议根据业务特点调整参数。记住：真正的生产级方案=自动化部署+智能监控+快速恢复！
redis：Redis Cluster与Sentinel模式深度解析与架构选型指南
weixin_43290370的博客
07-16 1049
阿里云全球部署方案核心业务：Cluster多可用区部署边缘业务：Sentinel主从架构关键配置：# Cluster配置# Sentinel配置字节跳动混合架构// 根据Key特征自动路由} else {美团监控指标体系fill:#333;color:#333;color:#333;fill:none;Cluster监控Slot平衡度节点负载方差跨节点操作比Sentinel监控主从延迟选举成功率通用指标故障转移时间Key分布热度选型决策树选择Cluster。
《Linux运维总结：Centos7.6部署redis6.2.8 cluster集群》
东城绝神
12-30 1000
《Linux运维总结：Centos7.6部署redis6.2.8 cluster集群》
Redis Cluster 扩容全攻略：手把手教你从0到1扩容集群
weixin_42148384的博客
06-30 1246
Redis Cluster 扩容是指通过添加新的节点（主节点或从节点）来扩展集群的存储容量和处理能力的过程。本文将介绍Redis Cluster 扩容的详细步骤、原理及注意事项，帮助你安全高效地完成扩容操作。
【保姆级】Redis集群（cluster）本地案例手把手操作指南（含常见问题以及处理方式）
aqin1012的博客
08-08 1024
本案例源自Redis官网，有兴趣的朋友可以直接访问。
Redis Cluster架构与搭建指南：无中心分布式与哨兵模式对比
Redis Cluster集群模式是一种分布式内存数据库解决方案，旨在提高Redis的可扩展性和高可用性。它是Redis 3.0版本引入的新特性，采用了无中心架构，每个节点不仅保存数据，还维护整个集群的状态，通过全互连的方式...
Redis Cluster集群伸缩性优化：应对流量高峰的秘密
[Redis Cluster集群伸缩性优化：应对流量高峰的秘密](https://media.geeksforgeeks.org/wp-content/uploads/20230317191241/sentinel.webp) # 摘要 Redis Cluster作为高效的数据存储解决方案，其集群基础和伸缩性...
JFinal Redis Cluster插件开发及使用指南
综上所述，JFinal Redis Cluster插件为JFinal框架带来了Redis Cluster集群的支持，虽然可能存在一些不足，但这一扩展对于希望在JFinal项目中利用Redis Cluster优势的开发者来说是一个福音。开发者在使用此插件时，...
《Linux运维总结：Redis7.4.5哨兵集群开启ACL并配置用户》
东城绝神
09-12 595
《Linux运维总结：Redis7.4.5哨兵集群开启ACL并配置用户》
OpenResty 限流方案对比：lua_shared_dict vs Redis
weixin_42279822的博客
09-10 434
摘要： OpenResty限流方案对比：lua_shared_dict适用于单机高性能场景，基于内存操作，延迟低但无法跨节点；Redis限流支持分布式部署，灵活性高但需网络IO。混合方案（本地+Redis）可兼顾性能与全局控制。选型需考虑性能、分布式需求及运维复杂度，单机优先本地内存，集群场景推荐Redis。
Redis(缓存)
CD200309的博客
09-09 746
1. 生活上的例子比如有一个行李箱和一个手机，每次把手机放到行李箱在拿出来肯定很麻烦，如果放到裤兜里就会方便很多，所以裤兜算作行李箱的一个缓存，不仅仅是裤兜，甚至可以一直拿在手上等其他有存储介质的东西。说白了缓存就是用来提高效率的，比如 内存 作为 CPU 和 外设 的缓存，和接下来要讲的 Redis 作为 MySQL 的缓存，MySQL 和磁盘打交道，磁盘是外设 I/O 效率慢，并且是随机寻址就更慢了，而 Redis 工作在内存，用来缓存 MySQL 的部分数据来分摊压力再合适不过了。
redis key过期后会立马删除吗
只为成功找方法 不为失败找借口
09-10 544
场景删除机制延迟性​Key 过期后被访问​惰性删除立即删除实时（访问时触发）​Key 过期后未被访问，但被定期删除抽中​定期删除清理秒级延迟（取决于抽查频率和运气）​Key 过期后长期未被访问且未被抽中​可能滞留内存不确定（直到被访问或抽中）
redis zset 处理大规模数据分页
tqs_123456的博客
09-12 387
对 Redis ZSet 进行分片存储并实现分页查询是一项复杂的任务，需要仔细权衡。​​选择范围分片​​：如果你的数据经常按 ​​score 范围查询​​，并且数据分布相对均匀或可预测。​​选择哈希分片​​：如果你需要​​均匀分布​​数据，并且可以接受​​应用层进行复杂聚合​​来支持全局有序分页。​​最佳实践提醒​​：​​尽量避免跨分片查询​​：设计分片策略时，应尽量让大多数查询落在单个或少数分片上。​​分片策略是关键​​：分片策略应基于你的​​数据访问模式​​。
Redis可视化工具——Another Redis Desktop Manager
最新发布
m0_56426418的博客
09-13 148
截至25年9月，最新的版本是1.7.1，这里个人下载的是1.7.0来做演示。下载：Another-Redis-Desktop-Manager-win-1.7.0-x64.exe，其他系统大家自行辨别。需要安装一个redis的可视化工具，经过3分钟调研，决定选择开源且活跃的ARDM。连接成功后就可以看到redis服务中保存的数据了，隐私问题博主就不放图了。完了点击左上角的“新建连接”
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值