Redis集群介绍

• Redis 集群是一个提供在多个Redis节点间共享数据的程序集。

• Redis集群并不支持处理多个keys的命令,因为这需要在不同的节点间移动数据,不是Redis的初衷（速度慢）,在高负载的情况下可能会导致不可预料的错误.

• Redis 集群通过分区来提供一定程度的可用性,在实际环境中当某个节点宕机或者不可达的情况下继续处理命令.

• Redis 集群的优势:
  自动分割数据到不同的节点上。
  整个集群的部分节点失败或者不可达的情况下能够继续处理命令。

Redis 集群的数据分片

• Redis 集群没有使用一致性hash, 而是引入了 哈希槽的概念.

• Redis 集群有16384个哈希槽,每个key通过CRC16校验后对16384取模来决定放置哪个槽.集群的每个节点负责一部分hash槽,举个例子,比如当前集群有3个节点,那么:

  节点 A 包含 0 到 5500号哈希槽.
  节点 B 包含5501 到 11000 号哈希槽.
  节点 C 包含11001 到 16384号哈希槽.

这种结构很容易添加或者删除节点. 比如如果我想新添加个节点D, 我需要从节点 A, B, C中分部分槽到D上. 如果我想移除节点A,需要将A中的槽移到B和C节点上,然后将没有任何槽的A节点从集群中移除即可. 由于从一个节点将哈希槽移动到另一个节点并不会停止服务,所以无论添加删除或者改变某个节点的哈希槽的数量都不会造成集群不可用的状态.

Redis 一致性保证

Redis 并不能保证数据的强一致性. 这意味这在实际中集群在特定的条件下可能会丢失写操作.

第一个原因是因为集群是用了异步复制. 写操作过程:

• 客户端向主节点B写入一条命令.
• 主节点B向客户端回复命令状态.
• 主节点将写操作复制给他得从节点 B1, B2 和 B3.

主节点对命令的复制工作发生在返回命令回复之后， 因为如果每次处理命令请求都需要等待复制操作完成的话，
那么主节点处理命令请求的速度将极大地降低 —— 我们必须在性能和一致性之间做出权衡。 注意：Redis 集群可能会在将来提供同步写的方法。

Redis 集群另外一种可能会丢失命令的情况是集群出现了网络分区， 并且一个客户端与至少包括一个主节点在内的少数实例被孤立。

举个例子 假设集群包含 A 、 B 、 C 、 A1 、 B1 、 C1 六个节点， 其中 A 、B 、C 为主节点， A1 、B1 、C1
为A，B，C的从节点， 还有一个客户端 Z1 假设集群中发生网络分区，那么集群可能会分为两方，大部分的一方包含节点 A 、C 、A1 、B1
和 C1 ，小部分的一方则包含节点 B 和客户端 Z1 .

Z1仍然能够向主节点B中写入,
如果网络分区发生时间较短,那么集群将会继续正常运作,如果分区的时间足够让大部分的一方将B1选举为新的master，那么Z1写入B中得数据便丢失了.

注意， 在网络分裂出现期间， 客户端 Z1 可以向主节点 B 发送写命令的最大时间是有限制的， 这一时间限制称为节点超时时间（node timeout）， 是 Redis 集群的一个重要的配置选项.

搭建并使用redis集群

官网：http://redis.cn/topics/cluster-tutorial.html

• 搭建集群的第一件事情我们需要一些运行在 集群模式的Redis实例. 这意味该集群并不是由一些普通的Redis实例组成的，集群模式需要通过配置启用，开启集群模式后的Redis实例便可以使用集群特有的命令和特性了.

要让集群正常运作至少需要三个主节点，不过在刚开始试用集群功能时， 强烈建议使用六个节点： 其中三个为主节点， 而其余三个则是各个主节点的从节点。

让我们进入一个新目录， 并创建六个以端口号为名字的子目录， 稍后我们在将每个目录中运行一个 Redis 实例：
命令如下:

[[email protected] ~]# mkdir /usr/local/rediscluster
[[email protected] ~]# cd /usr/local/rediscluster/
[[email protected] rediscluster]# mkdir 700{1..6}
[[email protected] rediscluster]# ls
7001  7002  7003  7004  7005  7006

• 每个节点的目录在里边写配置文件redis.conf

[[email protected] rediscluster]# cd 7001
[[email protected] 7001]# vim redis.conf
port 7001 
cluster-enabled yes 
cluster-config-file nodes.conf 
cluster-node-timeout 5000 
appendonly yes 
pidfile "/usr/local/rediscluster/7001/redis.pid" 
logfile "/usr/local/rediscluster/7001/redis.log" 
daemonize yes 
dir "/usr/local/rediscluster/7001"

文件中的 cluster-enabled 选项用于开实例的集群模式， 而 cluster-conf-file 选项则设定了保存节点配置文件的路径， 默认值为 nodes.conf.节点配置文件无须人为修改， 它由 Redis 集群在启动时创建， 并在有需要时自动进行更新。
其他节点redis.conf文件的内容可以从7001复制过去， 但记得将配置中的端口号从 7000 改为与文件夹名字相同的号码。

[[email protected] ~]#  redis-server redis.conf

此时查看端口7001已经打开
其他6个目录作法一样，不再赘述

ps ax查看到6个端口的进程已经开启

• 搭建集群
  现在我们已经有了六个正在运行中的 Redis 实例， 接下来我们需要使用这些实例来创建集群， 并为每个节点编写配置文件。

[[email protected] rediscluster]# redis-cli --cluster create --cluster-replicas 1 
127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005 127.0.0.1:7006

这个命令在这里用于创建一个新的集群, 选项–replicas 1 表示我们希望为集群中的每个主节点创建一个从节点。
之后跟着的其他参数则是这个集群实例的地址列表,3个master3个slave redis-trib 会打印出一份预想中的配置给你看， 如果你觉得没问题的话， 就可以输入 yes ， redis-trib 就会将这份配置应用到集群当中,让各个节点开始互相通讯,最后可以得到如下信息：

这表示集群中的 16384 个槽都有至少一个主节点在处理， 集群运作正常。

• 测试
• 测试集群节点对应关系

[[email protected] rediscluster]# redis-cli --cluster info 127.0.0.1:7001
127.0.0.1:7001 (e112b1e9...) -> 0 keys | 5461 slots | 1 slaves.
127.0.0.1:7002 (13cc972a...) -> 0 keys | 5462 slots | 1 slaves.
127.0.0.1:7003 (31470b21...) -> 0 keys | 5461 slots | 1 slaves.
[OK] 0 keys in 3 masters.
0.00 keys per slot on average.

7001，7002，7003是master，分别对应的slave是7004，7005，7006

• 无中心检测

[[email protected] rediscluster]# redis-cli -c -p 7004
127.0.0.1:7004> get name
-> Redirected to slot [5798] located at 127.0.0.1:7002
(nil)
127.0.0.1:7002> 	#转到了7002

[[email protected] rediscluster]# redis-cli -c -p 7006
127.0.0.1:7006> get name
-> Redirected to slot [5798] located at 127.0.0.1:7002
(nil)
127.0.0.1:7002> 	#转到了7002

• 将一个master（7002）宕掉，对应的slave会接替

[[email protected] rediscluster]# redis-cli -c -p 7002
127.0.0.1:7002> SHUTDOWN
not connected> 
[[email protected] rediscluster]# redis-cli --cluster info 127.0.0.1:7001
Could not connect to Redis at 127.0.0.1:7002: Connection refused
127.0.0.1:7001 (e112b1e9...) -> 0 keys | 5461 slots | 1 slaves.
127.0.0.1:7006 (8c3ba489...) -> 0 keys | 5462 slots | 0 slaves.
127.0.0.1:7003 (31470b21...) -> 0 keys | 5461 slots | 1 slaves.
[OK] 0 keys in 3 masters.
0.00 keys per slot on average.

• 如果再把slave宕掉，整个集群就不能用了

[[email protected] rediscluster]# redis-cli -c -p 7006
127.0.0.1:7006> SHUTDOWN
not connected>

[[email protected] rediscluster]# redis-cli -c -p 7001
127.0.0.1:7001> get name
(error) CLUSTERDOWN The cluster is down

• 恢复集群
  重新加载7002，和7006的配置文件

[[email protected] 7002]# redis-server redis.conf
[[email protected] 7006]# redis-server redis.conf

再次查看集群信息

• 给集群中添加新节点

1. 先创建两个新的节点

[[email protected] rediscluster]# mkdir 7007
[[email protected] rediscluster]# mkdir 7008
[[email protected] rediscluster]# cp 7001/redis.conf 7007
[[email protected] rediscluster]# cp 7001/redis.conf 7008
[[email protected] rediscluster]# vim 7007/redis.conf 
[[email protected] rediscluster]# cd 7007/
[[email protected] 7007]# redis-server redis.conf 
[[email protected] 7007]# cd ../
[[email protected] rediscluster]# cd 7008
[[email protected] 7008]# vim redis.conf 
[[email protected] 7008]# redis-server redis.conf 

ps ax查看

2. 添加节点7007（master的添加方法）

[[email protected] 7008]#  redis-cli --cluster add-node 127.0.0.1:7007 127.0.0.1:7001

查看集群信息

3. 添加节点7008（slave的添加方法，master为7007）

[[email protected] 7008]# redis-cli --cluster add-node --cluster-slave --cluster-master-id 98ae49ee5bf1a22c28fc5807d4b7dfcc98baf135 127.0.0.1:7008 127.0.0.1:7007

再次检查，7008节点添加成功

4. 给新的节点（7007）中添加哈希槽

[[email protected] 7008]# redis-cli --cluster reshard --cluster-from all --cluster-to 98ae49ee5bf1a22c28fc5807d4b7dfcc98baf135 --cluster-slots 300  --cluster-yes 127.0.0.1:7001
##98ae49ee5bf1a22c28fc5807d4b7dfcc98baf135是7007的id，在上图中可以看到
##从所有节点中向7007分配300个哈希槽

再次检查

• 均匀分配哈希槽

[[email protected] 7008]# redis-cli --cluster rebalance --cluster-threshold 1 --cluster-use-empty-masters 127.0.0.1:7001

查看