Redis——Cluster配置

于 2025-06-09 12:19:21 发布
阅读量1.3k 收藏 12
点赞数 23
CC 4.0 BY-SA版权
文章标签： jvm
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Lemon__ing/article/details/148531828

目录

分片

一、分片的本质与核心价值

二、分片实现方案对比

三、分片算法详解

1. ‌范围分片（顺序分片）‌

2. ‌哈希分片‌

3. ‌虚拟槽分片（Redis Cluster 方案）‌

四、Redis Cluster 分片实践要点

五、经典问题解析

Cluster模式配置

一、Cluster 核心配置参数

二、集群部署全流程

1. 节点初始化

2. 集群创建命令

3. 集群验证

三、关键运维操作

1. 节点扩容

2. 故障转移模拟

3. 集群修复

四、高级配置建议

五、常见问题解决

 各模式优缺点

一、主从复制模式

二、哨兵模式（Sentinel）

三、Cluster模式（分布式集群）

四、对比表格

分片

一、分片的本质与核心价值

  1. ‌问题根源‌
    单机 Redis 存在内存容量和吞吐量瓶颈，分片通过将数据分散到多个节点解决此问题。

  2. ‌核心价值‌

    • ‌横向扩展‌：突破单机内存限制，支持 TB 级数据存储。
    • ‌负载均衡‌：多节点并行处理请求，提升并发能力（如百万级 QPS）。
    • ‌故障隔离‌：单节点故障仅影响其负责的数据分片。
    • ‌资源优化‌：支持冷热数据分离存储（如 SSD/HDD 混合部署）。

二、分片实现方案对比

‌方案‌‌工作原理‌‌优点‌‌缺点‌‌适用场景‌
‌客户端分片‌客户端计算键的哈希值，直接路由到目标节点（如取模或一致性哈希）无代理层，架构简单节点变更需客户端调整，扩容复杂小规模固定集群
‌代理分片‌通过中间件（如 Twemproxy）接收请求，由代理计算分片并转发客户端无感知，屏蔽分片细节代理层可能成为性能瓶颈需兼容旧客户端的场景
‌服务端分片（Redis Cluster）‌节点间通过 Gossip 协议同步槽位信息，客户端请求由服务端重定向（MOVED 指令）自动故障转移、支持动态扩缩容不支持跨槽事务和多键操作生产环境首选方案

三、分片算法详解

1. ‌范围分片（顺序分片）‌
  • ‌原理‌：按数据范围划分（如 ID 1-10000 → 节点A，10001-20000 → 节点B）。
  • ‌优点‌：支持高效范围查询（如 ZRANGE）和批量操作。
  • ‌缺点‌：数据分布易倾斜，扩容时需迁移大量数据。
2. ‌哈希分片‌
  • ‌哈希求余‌：hash(key) % N 确定节点，扩容时需迁移所有数据（N 变化导致重新映射）。
  • ‌一致性哈希‌：
    • 哈希环结构，节点增减仅影响相邻数据。
    • 解决扩容痛点，但仍有数据倾斜风险。
3. ‌虚拟槽分片（Redis Cluster 方案）‌
  • ‌核心机制‌：
    • 预分配 ‌16384 个哈希槽‌（slot），每个节点负责部分槽位。
    • 槽位计算：slot = CRC16(key) mod 16384。
  • ‌动态扩缩容‌：
    • 添加节点时，从现有节点迁移部分槽位到新节点。
    • 删除节点时，将其槽位分配给其他节点。
  • ‌优势‌：
    • 数据分布均匀，避免热点问题。
    • 槽位迁移原子操作，不影响集群可用性。

四、Redis Cluster 分片实践要点

  1. ‌集群要求‌

    • 至少 ‌3 个主节点‌（推荐 3 主 3 从）。
    • 所有节点通过‌集群总线端口‌通信（Redis端口 + 10000）。

  2. ‌数据迁移命令‌

    # 将槽位 1000 从节点 A 迁移到节点 B 
redis-cli --cluster reshard <节点A_IP>:<端口> --cluster-from <节点A_ID> --cluster-to <节点B_ID> --cluster-slots 1000

  3. ‌客户端交互‌

    • 客户端连接任意节点，若请求的键不属于当前节点，返回 MOVED <slot> <目标节点IP>:<端口> 重定向指令。
    • 智能客户端（如 Lettuce）可缓存槽位映射表，减少重定向次数。

五、经典问题解析

  1. ‌为何使用 16384 槽？‌

    • 集群心跳包携带全量槽分配信息，16384（16KB）在带宽与数据粒度间取得平衡。
    • 超过 16384 易导致网络拥堵。

  2. ‌分片下的限制‌

    • 跨槽的多键操作（如 MSET、事务）需确保所有键在同一槽位，可通过 HashTag 强制绑定： 
      MSET {user:1000}.name "Alice" {user:1000}.age 30 # 使用相同 HashTag

‌总结‌：Redis 分片是分布式系统的核心技术，‌虚拟槽方案‌（Redis Cluster）凭借自动分片、故障转移和动态扩缩容能力，成为生产环境首选。设计时需关注数据均衡性、扩容成本及跨分片操作限制

Cluster模式配置

一、Cluster 核心配置参数

  1. ‌基础配置（redis.conf）‌

    cluster-enabled yes # 启用集群模式 
cluster-config-file nodes-6379.conf # 节点自动生成的集群配置文件 
cluster-node-timeout 15000 # 节点失联判定时间（毫秒） 
cluster-replica-validity-factor 10 # 从节点有效性因子（超时倍数） 
cluster-migration-barrier 1 # 主节点最少保留的从节点数
    • cluster-node-timeout 影响故障转移速度，建议生产环境设为 15-30 秒。
    • cluster-migration-barrier 防止主节点因从节点不足导致数据不可用。

  2. ‌网络与安全‌

    bind 0.0.0.0 # 允许所有IP访问 
protected-mode no # 关闭保护模式（需配合密码） 
requirepass yourpassword # 集群密码（所有节点需一致） 
masterauth yourpassword # 主从认证密码
    • 集群总线端口需开放（默认：Redis端口 + 10000）。

  3. ‌数据持久化‌

    appendonly yes # 开启AOF持久化 
appendfsync everysec # 折衷性能与数据安全

二、集群部署全流程

1. 节点初始化
# 启动6个节点（3主3从） redis-server /path/to/redis-7000.conf # 端口7000-7005
2. 集群创建命令
redis-cli --cluster create \ 
192.168.1.1:7000 192.168.1.1:7001 192.168.1.1:7002 \ 
192.168.1.1:7003 192.168.1.1:7004 192.168.1.1:7005 \ 
--cluster-replicas 1 \ 
--cluster-yes
  • --cluster-replicas 1 表示每个主节点配1个从节点。
  • 执行后自动分配16384个槽位（每个主节点约5461个槽）。
3. 集群验证
redis-cli -c -p 7000 cluster nodes # 查看节点角色及槽分布 

redis-cli -p 7000 cluster info # 检查集群健康状态

三、关键运维操作

1. 节点扩容
# 添加新主节点 
redis-cli --cluster add-node 192.168.1.2:7006 192.168.1.1:7000 
# 迁移槽位（交互式） 
redis-cli --cluster reshard 192.168.1.1:7000
  • 扩容后需手动平衡槽位，避免热点问题58。
2. 故障转移模拟
# 手动触发主从切换（在从节点执行） redis-cli -p 7003 CLUSTER FAILOVER
3. 集群修复
# 修复孤儿槽（无主节点的槽） redis-cli --cluster fix 192.168.1.1:7000

四、高级配置建议

  1. ‌槽位分配优化‌

    • 使用 CLUSTER SETSLOT 手动调整槽位分布，避免数据倾斜。
    • 监控槽位命中率：redis-cli --cluster check 192.168.1.1:7000。

  2. ‌客户端连接策略‌

    • 智能客户端（如 Lettuce）应缓存槽位映射表，减少 MOVED 重定向。
    • 避免跨槽事务，优先使用 HashTag 绑定相关键：{user1000}.profile。

  3. ‌监控指标‌

    ‌指标‌‌监控命令‌‌告警阈值‌
    节点状态CLUSTER NODES任何节点不可达
    槽位覆盖率CLUSTER INFO 的 cluster_slots_ok必须为 16384
    内存使用率INFO MEMORY>80% 触发告警

五、常见问题解决

  1. ‌节点无法加入集群‌

    • 检查防火墙是否放行集群总线端口。
    • 确认所有节点 requirepass 和 masterauth 一致。

  2. ‌槽位迁移卡顿‌

    • 增大 cluster-node-timeout 减少网络抖动影响。
    • 使用 --cluster-replace 强制替换故障节点。

  3. ‌数据不一致‌

    • 从节点同步延迟可通过 INFO REPLICATION 查看 slave_repl_offset。

通过以上配置与运维策略，可构建高可用的 Redis Cluster 环境。实际部署时需结合监控工具（如 Prometheus）持续观察集群状态。

 各模式优缺点

一、主从复制模式

‌优点‌

  • 读写分离提升读性能，从节点分担主节点压力
  • 配置简单，仅需在从节点设置replicaof指令
  • 数据冗余提高容灾能力

‌缺点‌

  • 主节点单点故障需手动切换
  • 写性能受限于主节点，无法横向扩展
  • 全量同步时网络开销大

二、哨兵模式（Sentinel）

‌优点‌

  • 自动监控与故障转移，解决主从模式手动切换问题
  • 支持多哨兵部署，避免监控节点单点故障
  • 客户端自动感知主节点变化

‌缺点‌

  • 扩容仍需手动操作，无法自动分片
  • 故障转移期间可能出现数据丢失
  • 配置复杂度高于主从模式

三、Cluster模式（分布式集群）

‌优点‌

  • 数据自动分片（16384槽），支持TB级数据存储
  • 无中心架构，节点间通过Gossip协议通信
  • 支持动态扩缩容与自动故障转移

‌缺点‌

  • 不支持跨节点事务和多键操作（需HashTag绑定）
  • 运维复杂度高，需管理槽位迁移与节点状态
  • 客户端需支持集群协议（如MOVED重定向）

四、对比表格

‌模式‌‌数据分片‌‌自动故障转移‌‌读写扩展性‌‌适用场景‌
主从复制❌❌读扩展读多写少，容灾备份
哨兵模式❌✔️读扩展高可用但数据量中等
Cluster模式✔️✔️读写扩展海量数据与高并发场景
霖檬ing
关注
阿里大厂面试：2亿条数据需要缓存，如何设计这个存储方案？
互联网老辛
03-24 7062
阿里大厂面试
Redis——Redis Cluster集群原理
庄小焱
03-14 5058
摘要 我们平时习惯于使用 Rabbitmq 和 Kafka 作为消息队列中间件，来给应用程序之间增加异步消息传递功能。这两个中间件都是专业的消息队列中间件，特性之多超出了大多数人的理解能力。使用过 Rabbitmq 的同学知道它使用起来有多复杂，发消息之前要创建 Exchange，再创建 Queue，还要将 Queue 和 Exchange 通过某种规则绑定起来，发消息的时候要指定 routingkey，还要控制头部信息。消费者在消费消息之前也要进行上面一系列的繁琐过程。但是绝大多数情况下，虽然我们的消息
Redis Cluster 介绍与使用
weixin_33725272的博客
12-08 183
Redis Cluster 功能特性 Redis 集群是分布式的redis 实现，具有以下特性： 1. 高可用性与可线性扩张到1000个节点 2. 数据自动路由到多个节点 3. 节点间数据共享 4. 可动态添加或者删除节点 5. 部分节点不可达时，集群仍可用 6. 数据通过异步复制,不保证数据的强一致性 7. 可动态调整数据分布 Redis 集群架构图 其中 一: Redis 集群协议 1...
Redis - 集群(Cluster)
ketil27的博客
11-09 2182
上述的哨兵模式,提⾼了系统的可⽤性.但是真正⽤来存储数据的还是master和slave节点.所有的数 据都需要存储在单个master和slave节点中.如果数据量很⼤,接近超出了master/slave所在机器的物理内存,就可能出现严重问题了.如何获取更⼤的空间?加机器即可!所谓"⼤数据"的核⼼,其实就是⼀台机器搞不定了,⽤多台机器来 搞.Redis 的集群就是在上述的思路之下,引⼊多组Master/Slave,每⼀组Master/Slave存储数据全集的 ⼀部分,从⽽构成⼀个更⼤的整体,称为Redis集群
如何搭建redis集群 --- redis-cluster
最新发布
qq_24428851的博客
04-27 1021
1、有了哨兵为什么还要搞redis-cluster？之前说的哨兵，一般是一主二从，写数据都在master，读数据在slave，当master挂了之后会从两个slave中自动选出一个作为新的master。看似很完美，但问题就在slave是read only的，只能读数据，写数据的操作全都在master进行，对于写操作来说，redis相当于还是一个单机版的。如果对写操作并发很高，那可能就撑不住了，因此redis-cluster诞生。
Redis集群（cluster模式）搭建
Microhoo_苏福的博客
05-08 7093
Redis集群（cluster模式）搭建
Redis——cluster集群
FlyLikeButterfly的博客
11-04 1万+
redis集群配置
redis集群的维护（redis-cli --cluster 命令用法）
cj_eryue的博客
09-12 1万+
1、 --cluster create 创建集群 2、--cluster check检查集群 3、--cluster info 查看集群 4、--cluster fix 修复集群 5、--cluster rehard 迁移槽位 6、 --cluster rebalance 平衡集群 7、 --clusteradd-node 集群扩容 8、--cluster del-node 集群缩容 9、 --cluster call 在集群中执行命令 10、--cluste
Redis集群Cluster搭建
世界既不黑也不白，而是一道精致的灰。
08-01 1183
redis-cli -h 192.168.1.5 -p 6379 cluster nodes 验证成功信息如下。当我们再次设置时，集群会根据CRC计算改数据存放到那个槽位，集群存在脏数据需要再三台Master执行以下三个命令。在集群链接模式下，能访问到所有节点所有槽位的数据。三个集群节点，每个节点有个副本节点备份数据。设置后查看节点信息，成功画面如下。如果遇到【Error】如下。
Redis——Redis 集群cluster
Cantevenl的博客
04-19 8052
Redis 集群cluster集群简介集群作用Redis集群结构设计数据存储设计集群内部通讯设计cluster集群结构搭建主从下线和主从切换 集群简介 集群就是使用网络将若干台计算机联通起来，并提供统一的管理方式，使其对外呈现单机的服务效果 集群作用 分散单台服务器的访问压力，实现负载均衡 分散单台服务器的存储压力，实现可扩展性 降低单台服务器宕机带来的业务灾难 Redis集群结构设计 数据存储设计 通过算法设计，计算出key应该保存的位置 将所有的存储空间计划切割成16384份，每台主机保存一部
redis架构系列——Cluster集群模式详解
庄的博客
01-30 2175
redis cluster模式集群介绍
Redis——redis学习过程
01-07
参考文献： ...学习过程： 1、Redis的安装 2、Redis的核心配置we年Redis.conf讲解文件 3、Docker安装Redis 4、Redis常用数据类型及应用场景 5、其他功能 ...JAVA远程客户端RedisCluster实战应用 Spring
手把手教你搭Redis Cluster集群——Redis Cluster的搭建与原理解析
weixin_46120888的博客
03-28 2778
本文介绍了RedisCluster的原理，较为详细的介绍了搭建的完整过程，同时还演示了扩容和缩容操作
Redis Cluster 集群部署
misakivv的博客
04-19 1620
Redis集群是一种基于数据分片（sharding）的分布式缓存和存储系统。是一个由多个主从节点群组成的分布式服务集群，它具有复制、高可用和分片特性。Redis集群不需要sentinel哨兵也能完成节点移除和故障转移的功能。需要将每个节点设置成集群模式，这种集群模式没有中心节点，可水平扩展。redis集群的性能和高可用性均优于之前版本的哨兵模式，且集群配置非常简单。
Redis Cluster（无中心化设计）
weixin_68398469的博客
08-27 1073
在哨兵sentinel机制中，可以解决redis高可用问题，即当master故障后可以自动将slave提升为master，从而可以保证redis服务的正常使用，但是无法解决redis单机写入的瓶颈问题，即单机redis写入性能受 限于单机的内存大小、并发数量、网卡速率等因素。redis 3.0版本之后推出了无中心架构的机制，在无中心的redis集群当中，其每个节点保存当前节点数据和整个集群状态,每个节点都和其他所有节点连接。
Redis集群部署教程详解
Yel_Liang的博客
08-03 6449
Redis集群部署教程详解 ，节点故障后集群会有什么变化
Redis-集群搭建(cluster集群、集群创建、节点配置、节点添加、节点删除、槽位分配)
热门推荐
JolyouLu的博客
07-19 3万+
Redis-集群搭建 在连接Redis集群搭建之前首先具备的前置知识有Redis的安装，Redis持久化，Redis主从复制，若还没了解都可以通过阅读以下文章了解以下 Liunx-安装Redis Redis-主从复制(一主二从、主从复制原理、单哨兵模式、多哨兵模式) Redis-持久化(RDB配置、RDB原理、AOF配置、AOF原理、混合持久化配置) 高可用集群 哨兵模式 其实对于一般的小型项目，利用哨兵模式+主从复制已经可以满足了，但是由于Redis是单线程应用所以在单主节点下理论上说Redis可以
简单搭建redis cluster集群
吉衣の秋先生的博客
11-28 655
简单搭建redis cluster集群
Redis Cluster集群
关注我！带你一路 "狂飙" 到底！
11-01 530
Redis Cluster是Redis官方提供的分布式解决方案。当遇到内存、并发、流量等瓶颈时，就可以采用Cluster架构达到负载均衡目的。 需要更多教程，微信扫码即可 ???????????? 别忘了扫码领资料哦【高清Java学习路线图】 和【全套学习视频及配套资料】 2.1.redis cluster特点 1.所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽。 2.客户端与redis节点直连,不需要中间proxy层.客户端不需要连接
spring.redis.cluster.nodes怎么填写
01-25
### 配置Spring Boot应用程序中的Redis集群节点 为了使Spring Boot应用程序能够成功连接至Redis集群，需在`application.properties`或`application.yml`文件内定义必要的Redis配置项。具体来说，关于`spring.redis.cluster.nodes`属性的设定应当遵循如下模式： 对于采用`.properties`格式的应用程序配置文件而言，应加入这样的条目[^1]： ```properties spring.redis.cluster.nodes=redis://host1:port1,redis://host2:port2,redis://host3:port3 ``` 而在基于YAML语法构建的配置文档里，则可以这样表达相同的内容[^2]: ```yaml spring: redis: cluster: nodes: "redis://host1:port1,redis://host2:port2,redis://host3:port3" ``` 这里需要注意的是，每一对主机名（或IP地址）与端口号之间由冒号分隔，并且多个节点间利用逗号相区分。 除了上述基本设置外，还可能涉及到其他参数来优化性能或是满足特定的安全需求。例如，当存在认证机制时，可以通过额外声明`spring.redis.password`来提供访问凭证；另外，针对网络延迟等问题也可以调整诸如超时时间(`timeout`)之类的选项以增强系统的鲁棒性。 此外，值得注意的一点是在Spring Boot 2.x版本以后，默认使用的Redis Java客户端库变更为Lettuce而非之前的Jedis。这一变化意味着某些具体的实现细节可能会有所不同，比如初始化连接池的方式等[^3]。不过就目前讨论的主题——即如何指明Redis集群成员的位置信息这一点上，两者之间的差异并不大。 最后附带一段简单的Java代码片段用于展示如何借助这些配置建立同Redis Cluster间的交互操作： ```java @Autowired private StringRedisTemplate stringRedisTemplate; public void setKey(String key, String value){ stringRedisTemplate.opsForValue().set(key,value); } ``` 此段代码展示了注入了一个`StringRedisTemplate`实例并调用了其方法来进行键值对存储的动作。当然实际项目开发过程中还需要考虑更多方面如异常处理、事务支持等功能特性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值