Redis--集群

集群

redis集群是一个由多个主从节点群组成的分布式服务器群，它具有复制、高可用和分片特性。Redis集群不需 要sentinel哨兵∙也能完成节点移除和故障转移的功能。需要将每个节点设置成集群模式，这种集群模式没有中 心节点，可水平扩展，据官方文档称可以线性扩展到上万个节点(官方推荐不超过1000个节点)。redis集群的 性能和高可用性均优于之前版本的哨兵模式，且集群配置非常简单

Redis集群搭建

redis集群需要至少三个master节点，我们这里搭建三个master节点，并且给每个master再搭建一个slave节 点，总共6个redis节点，这里用三台机器部署6个redis实例，每台机器一主一从，搭建集群的步骤如下：

 第一步：在第一台机器的/usr/local下创建文件夹redis‐cluster，然后在其下面分别创建2个文件夾如下 
 2 （1）mkdir ‐p /usr/local/redis‐cluster 
 3 （2）mkdir 8001 8004 
 45 第一步：把之前的redis.conf配置文件copy到8001下，修改如下内容： 
 6 （1）daemonize yes 
 7 （2）port 8001（分别对每个机器的端口号进行设置） 
 8 （3）pidfile /var/run/redis_8001.pid # 把pid进程号写入pidfile配置的文件 
 9 （4）dir /usr/local/redis‐cluster/8001/（指定数据文件存放位置，必须要指定不同的目录位置，不然会 丢失数据） 
 10 （5）cluster‐enabled yes（启动集群模式） 
 11 （6）cluster‐config‐file nodes‐8001.conf（集群节点信息文件，这里800x最好和port对应上） 
 12 （7）cluster‐node‐timeout 10000 
 13 (8)# bind 127.0.0.1（bind绑定的是自己机器网卡的ip，如果有多块网卡可以配多个ip，代表允许客户端通 过机器的哪些网卡ip去访问，内网一般可以不配置bind，注释掉即可） 
 14 (9)protected‐mode no （关闭保护模式） 
 15 (10)appendonly yes 
 16 如果要设置密码需要增加如下配置： 
 17 (11)requirepass zhuge (设置redis访问密码) 
 18 (12)masterauth zhuge (设置集群节点间访问密码，跟上面一致) 
 20 第三步：把修改后的配置文件，copy到8004，修改第2、3、4、6项里的端口号，可以用批量替换： 
 21 :%s/源字符串/目的字符串/g 2223 第四步：另外两台机器也需要做上面几步操作，第二台机器用8002和8005，第三台机器用8003和8006 
 25 第五步：分别启动6个redis实例，然后检查是否启动成功 
 26 （1）/usr/local/redis‐5.0.3/src/redis‐server /usr/local/redis‐cluster/800*/redis.conf 
 27 （2）ps ‐ef | grep redis 查看是否启动成功 
 29 第六步：用redis‐cli创建整个redis集群(redis5以前的版本集群是依靠ruby脚本redis‐trib.rb实现) 
 30 # 下面命令里的1代表为每个创建的主服务器节点创建一个从服务器节点 
 31 # 执行这条命令需要确认三台机器之间的redis实例要能相互访问，可以先简单把所有机器防火墙关掉，如果不 关闭防火墙则需要打开redis服务端口和集群节点gossip通信端口16379(默认是在redis端口号上加1W) 
 32 # 关闭防火墙 
 33 # systemctl stop firewalld # 临时关闭防火墙 
 34 # systemctl disable firewalld # 禁止开机启动 
 35 # 注意：下面这条创建集群的命令大家不要直接复制，里面的空格编码可能有问题导致创建集群不成功 
 36 （1）/usr/local/redis‐5.0.3/src/redis‐cli ‐a zhuge ‐‐cluster create ‐‐cluster‐replicas 1 1 92.168.0.61:8001 192.168.0.62:8002 192.168.0.63:8003 192.168.0.61:8004 192.168.0.62:8005 192. 168.0.63:8006 
38 第七步：验证集群：
39 （1）连接任意一个客户端即可：./redis‐cli ‐c ‐h ‐p (‐a访问服务端密码，‐c表示集群模式，指定ip地址 和端口号） 
40 如：/usr/local/redis‐5.0.3/src/redis‐cli ‐a zhuge ‐c ‐h 192.168.0.61 ‐p 800* 
41 （2）进行验证： cluster info（查看集群信息）、cluster nodes（查看节点列表） 
42 （3）进行数据操作验证 
43 （4）关闭集群则需要逐个进行关闭，使用命令： 
44 /usr/local/redis‐5.0.3/src/redis‐cli ‐a zhuge ‐c ‐h 192.168.0.60 ‐p 800* shutdown

Redis集群原理分析

Redis Cluster 将所有数据划分为 16384 个 slots(槽位)，每个节点负责其中一部分槽位。槽位的信息存储于每 个节点中。 当 Redis Cluster 的客户端来连接集群时，它也会得到一份集群的槽位配置信息并将其缓存在客户端本地。这 样当客户端要查找某个 key 时，可以直接定位到目标节点。同时因为槽位的信息可能会存在客户端与服务器不 一致的情况，还需要纠正机制来实现槽位信息的校验调整。

槽位定位算法
Cluster 默认会对 key 值使用 crc16 算法进行 hash 得到一个整数值，然后用这个整数值对 16384 进行取模 来得到具体槽位。

Redis集群节点间的通信机制
redis cluster节点间采取gossip协议进行通信
集中式
优点在于元数据的更新和读取，时效性非常好，一旦元数据出现变更立即就会更新到集中式的存储中，其他节 点读取的时候立即就可以立即感知到；不足在于所有的元数据的更新压力全部集中在一个地方，可能导致元数 据的存储压力。 很多中间件都会借助zookeeper集中式存储元数据。

Redis集群为什么至少需要三个master节点，并且推荐节点数为奇数？
因为新master的选举需要大于半数的集群master节点同意才能选举成功，如果只有两个master节点，当其中 一个挂了，是达不到选举新master的条件的。

Redis集群脑裂

网络分区导致脑裂后多个主节点对外提供写服务，一旦网络分区恢复， 会将其中一个主节点变为从节点，这时会有大量数据丢失。 规避方法可以在redis配置里加上参数(这种方法不可能百分百避免数据丢失，参考集群leader选举机制)：

min‐replicas‐to‐write 1 //写数据成功最少同步的slave数量，这个数量可以模仿大于半数机制配置，比如 集群总共三个节点可以配置1，加上leader就是2，超过了半数

//当客户端往master节点写入数据时，要求master最少同步到几个slave节点上；

注意：这个配置在一定程度上会影响集群的可用性，比如slave要是少于1个，这个集群就算leader正常也不能 提供服务了，需要具体场景权衡选择。

当slave无法感知到master节点后，经过一段timeout的时间 重新发起选举，这时一个小集群中就会有两个master，客户端可以同时往两个客户端写数据； 经过一段时间以后，原来的master恢复，会变为slave节点；按照主从节点数据同步的规则，将会清空历史数据造成数据丢失！！！