memcached演练(6) 高可用实例HA（伪集群方案 ）
本系列文章<memcached的演练>,这是第6篇，前面文章，已经阐述了，memcached的安装，访问，session管理，存储管理。从本篇开始，就分开有几篇演练下memcached的高可用相关。
memcached的安全，承载着后台数据库的巨大访问，意义重大。
简单介绍下HA的梗概，如果时间允许尽量都演练下个方案，然后横向比较下各方案的优缺点。
本篇主要内容
伪集群方案的测试
明确memcached的高可用方案
通过比较memcached和redis两种NOSQL的方案，很容易发现，memcached的集群方案设计很简单，主要在client实现。
伪集群方案测试步骤
-
准备演练环境
| 主机 |
memcached主目录 |
端口 |
| 192.168.163.146 （hadoop1） |
/usr/local/memcached/ |
11211 |
| 192.168.163.156 （hadoop2） | /usr/local/memcached/ | 11211 |
| 192.168.163.166 （hadoop3） | /usr/local/memcached/ | 11211 |
安装不久罗列了，请参照《memcached演练(1) 搭建memcached服务》
2.准备测试代码
|
1
2
3
4
5
6
7
8
9
10
11
12
13
|
public void testSet() throws ExecutionException, InterruptedException, IOException {
final MemcachedClient mcc = new MemcachedClient(new BinaryConnectionFactory(),AddrUtil.getAddresses("192.168.163.146:11211 192.168.163.156:11211 192.168.163.166:11211"));
for(int i=0;i<50;i++){
mcc.set("clusterKey_"+StringUtils.leftPad(""+i,4,"0"), 19000, "clusterValue_"+i);
}
System.out.println("set ok");
for(int i=0;i<50;i++){
Object o = mcc.get("clusterKey_" + StringUtils.leftPad(""+i,4,"0"));
System.out.println(o);
}
// mcc.shutdown(); }
|
3.测试结果分析
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
|
[[email protected] scripts]# ./memcached-tool hadoop1:11211 dump |sort
Dumping memcache contents Number of buckets: 1
Number of items : 16
Dumping bucket 1 - 16 total itemsadd clusterKey_0002 0 1471374793 14add clusterKey_0005 0 1471374793 14add clusterKey_0008 0 1471374793 14add clusterKey_0011 0 1471374793 15add clusterKey_0014 0 1471374793 15add clusterKey_0017 0 1471374793 15add clusterKey_0020 0 1471374793 15add clusterKey_0023 0 1471374793 15add clusterKey_0026 0 1471374793 15add clusterKey_0029 0 1471374793 15add clusterKey_0032 0 1471374793 15add clusterKey_0035 0 1471374793 15add clusterKey_0038 0 1471374793 15add clusterKey_0041 0 1471374793 15add clusterKey_0044 0 1471374793 15add clusterKey_0047 0 1471374793 15[[email protected] scripts]# ./memcached-tool hadoop2:11211 dump |sort
Dumping memcache contents Number of buckets: 1
Number of items : 17
Dumping bucket 1 - 17 total itemsadd clusterKey_0000 0 1471374795 14add clusterKey_0003 0 1471374795 14add clusterKey_0006 0 1471374795 14add clusterKey_0009 0 1471374795 14add clusterKey_0012 0 1471374795 15add clusterKey_0015 0 1471374795 15add clusterKey_0018 0 1471374795 15add clusterKey_0021 0 1471374795 15add clusterKey_0024 0 1471374795 15add clusterKey_0027 0 1471374795 15add clusterKey_0030 0 1471374795 15add clusterKey_0033 0 1471374795 15add clusterKey_0036 0 1471374795 15add clusterKey_0039 0 1471374795 15add clusterKey_0042 0 1471374795 15add clusterKey_0045 0 1471374795 15add clusterKey_0048 0 1471374795 15[[email protected] scripts]# ./memcached-tool hadoop3:11211 dump |sort
Dumping memcache contents Number of buckets: 1
Number of items : 17
Dumping bucket 1 - 17 total itemsadd clusterKey_0001 0 1471374794 14add clusterKey_0004 0 1471374794 14add clusterKey_0007 0 1471374794 14add clusterKey_0010 0 1471374794 15add clusterKey_0013 0 1471374794 15add clusterKey_0016 0 1471374794 15add clusterKey_0019 0 1471374794 15add clusterKey_0022 0 1471374794 15add clusterKey_0025 0 1471374794 15add clusterKey_0028 0 1471374794 15add clusterKey_0031 0 1471374794 15add clusterKey_0034 0 1471374794 15add clusterKey_0037 0 1471374794 15add clusterKey_0040 0 1471374794 15add clusterKey_0043 0 1471374794 15add clusterKey_0046 0 1471374794 15add clusterKey_0049 0 1471374794 15 |
上面数据，简单整理成图，很直观，数据分布很分散的。这样的好处，可以减少热点。
值得注意的是
|
1
|
final MemcachedClient mcc = new MemcachedClient(new BinaryConnectionFactory(),AddrUtil.getAddresses("192.168.163.146:11211 192.168.163.156:11211 192.168.163.166:11211"));
|
AddrUtil.getAddresses参数，可以重复添加节点信息，这就相当于机器有权重的感觉了，明显会造成数据分布不均匀。
4.测试下权重情况下的数据分布
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
|
public class SpyMemcachedClusterTest extends TestCase
{ public void testSet() throws ExecutionException, InterruptedException, IOException {
final MemcachedClient mcc = new MemcachedClient(new BinaryConnectionFactory(),AddrUtil.getAddresses("192.168.163.146:11211 192.168.163.146:11211 192.168.163.146:11211 192.168.163.156:11211 192.168.163.156:11211 192.168.163.166:11211"));
for(int i=0;i<150;i++){
mcc.set("clusterKey_"+StringUtils.leftPad(""+i,4,"0"), 19000, "clusterValue_"+i);
}
System.out.println("ok");
// mcc.shutdown(); for(int i=0;i<150;i++){
Object o = mcc.get("clusterKey_" + StringUtils.leftPad(""+i,4,"0"));
System.out.println(o);
}
}
} |
测试结果截图
两图比较：是不是很容易，就看出来了。一致性可以从数据分布方面考虑，还是非常平均的，但数据量的分布，就和权重有关系。基本就是 3:2:1。和上面程序代码中配置的权重基本一致。
继续做实验。
5.剔出一个节点，看看命中率
|
1
2
3
4
5
6
7
8
9
10
11
12
13
|
public void testGets() throws ExecutionException, InterruptedException, IOException{
final MemcachedClient mcc = new MemcachedClient(new BinaryConnectionFactory(),AddrUtil.getAddresses(" 192.168.163.146:11211 192.168.163.146:11211 192.168.163.156:11211 192.168.163.156:11211 192.168.163.166:11211"));
int nohit=0;
for(int i=0;i<150;i++){
String key = "clusterKey_" + StringUtils.leftPad("" + i, 4, "0");
Object o = mcc.get(key);
if(o==null){
System.out.println(key+"未命中");
nohit++;
}
}
System.out.println("丢失："+nohit);
} |
修改内容，hadoop1:hadoop2:hadoop3，有原来的 3:2:1分布，修改成2:2:1分布。
测试结果
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
|
clusterKey_0001未命中 clusterKey_0002未命中 clusterKey_0010未命中 clusterKey_0011未命中 clusterKey_0019未命中 clusterKey_0020未命中 clusterKey_0028未命中 clusterKey_0037未命中 clusterKey_0039未命中 clusterKey_0046未命中 clusterKey_0048未命中 clusterKey_0049未命中 clusterKey_0055未命中 clusterKey_0057未命中 clusterKey_0058未命中 clusterKey_0064未命中 clusterKey_0066未命中 clusterKey_0067未命中 clusterKey_0069未命中 clusterKey_0073未命中 clusterKey_0075未命中 clusterKey_0076未命中 clusterKey_0078未命中 clusterKey_0079未命中 clusterKey_0082未命中 clusterKey_0084未命中 clusterKey_0085未命中 clusterKey_0087未命中 clusterKey_0088未命中 clusterKey_0089未命中 clusterKey_0091未命中 clusterKey_0093未命中 clusterKey_0094未命中 clusterKey_0096未命中 clusterKey_0097未命中 clusterKey_0098未命中 clusterKey_0099未命中 clusterKey_0100未命中 clusterKey_0101未命中 clusterKey_0109未命中 clusterKey_0110未命中 clusterKey_0118未命中 clusterKey_0127未命中 clusterKey_0129未命中 clusterKey_0136未命中 clusterKey_0138未命中 clusterKey_0139未命中 clusterKey_0145未命中 clusterKey_0147未命中 clusterKey_0148未命中 丢失：50
|
丢失了1/3。
即使改成 3:2,丢失也基本上到达1/3。 这个问题需要重视，否则非常容易产生缓存穿透情况。
在以后，会研究下spymemcached的一致性算法。
本文转自 randy_shandong 51CTO博客，原文链接：http://blog.51cto.com/dba10g/1839379，如需转载请自行联系原作者