高可用分布式非关系型数据库-Cassandra
1 理论基础
1.1 简介
Apache Cassandra是一套开源分布式NoSQL数据库系统。它最初由Facebook开发，用于储存收件箱等简单格式数据，集Google BigTable的数据模型与Amazon Dynamo的完全分布式架构于一身。Facebook于2008将Cassandra开源，此后，由于Cassandra良好的可扩展性和性能，被Apple Comcast Instagram Spotify eBay Rackspace Netflix等知名网站所采用，成为了一种流行的分布式结构化数据存储方案。
在数据库排行榜“DB-Engines Ranking”中，Cassandra排在第七位，是非关系型数据库中排名第二高的（仅次于MongoDB）。
- 可弹性扩展性,允许根据需求增加节点满足更多的客户端请求
- 业务高可用性，架构具有容灾设计避免单点故障造成业务中断
- 线性规模性能，吞吐量随着节点数量的增加而呈线性增长
- 灵活数据存储，可满足所有数据格式，包括结构化，半结构化和非结构化且可动态调整数据结构
- 轻松数据分发，通过在多个数据中心复制数据，提供灵活的分布数据
1.2 系统架构
1.2.1 架构目标
- 分担多个节点之间的大数据负载
- 避免单点故障
1.2.2 架构特点
- 群集中的角色都相同，每个节点相互独立但同时与其他节点互连
- 群集中的每个节点都可以接受读取和写入请求，而无需理会数据在群集中的实际位置
- 当单点故障发生时，客户端可以从群集中的其他非故障节点中提取或写入数据
1.3.3 数据复制
- Cassandra群集使用Gossip协议在节点间相互通讯和检测群集中的故障节点
- 群集中一或多个节点充当数据供给，如有过期节点Cassandra将最新数据返回给客户端并修复过期节点
1.3.4 关键部件介绍
- Node,指构成群集的成员服务器
- Data Center，群集中相关可用节点的集合
- Cluster，群集包含一个或多个数据中心
- Commit Lot，写入操作之前的记录日志，群集依赖日志做崩溃恢复。
- MemTable，驻留在内存中的数据结构，Commit Log后数据将写入到MemTable
- SSTable,当达到设定阈值，数据将从MemTable批量刷新到磁盘中存为SSTable
- Bloom filter,
-- 二进制向量数据结构，它具有很好的空间和时间效率，
-- 被用来检测一个元素是不是集合中的一个成员。
-- 如果检测结果为是，该元素不一定在集合中；
-- 但如果检测结果为否，该元素一定不在集合中。
1.3.5 数据写入流程
- 先记录日志(CommitLog)后写入数据
- 数据先写入到Column Family对应的Memtable中
- Memtable达到一定量时再批量刷新磁盘中存为SSTable
注：相当于缓存写回机制，它将随机IO转成顺序IO（降低存储压力）
1.4 数据模型
1.4.1 Colume
列是Cassandra中最小的数据单元,由以下元素组成：
- Name,唯一名称,用于引用列
- Value,列的内容,可以是不同的类型，如AsciiType，LongType，TimeUUIDType，UTF8Type等。
- TimeStamp,时间戳记,用于确定有效内容的系统时间戳
范例如下：
| Name | Value | TimeStamp |
| "age" | "18" | 1270694041669000 |
| "height" | "172cm" | 1270694041669000 |
注：一行为一个Colume
1.4.2 Super Column
超级列相当于Column的数组或集合,由Super Column name和一个或多个的Column构成。
| Super Column Name | Columns |
||
| StudentA |
Name | Value | TimeStamp |
| "age" | "20" | 1270694041669000 | |
| "height" | "172cm" | 1270694041669000 | |
1.4.3 Column Family
列族是一个NoSQL的对象（相当于关系型数据库的表），它包含描述对象属性的相关Column或Super Column。
列族分类:
- 普通列族，以列来描述族的属性
- 超级列族，以超级列来描述族的属性
| Column Family Key | Columns |
||
| StudentA |
Name | Value | TimeStamp |
| "age" | "20" | 1270694041669000 | |
| "height" | "172cm" | 1270694041669000 |
|
1.4.4 KeySpace
键空间是Cassandra中数据的最外层容器，其基本属性有，
- Replication factor,集群中将接收相同数据副本的计算技术
- Replica placement strategy,定义环中的复制策略
-- simple strategy，简单策略
-- old network topology strategy，旧网络拓扑策略
-- network topology strategy，网络拓扑策略
- Column families,列族（包含一个或多个列族）
1.4.5 总数据模型图
2 实践部分
2.1 环境信息
HostName = cassandra0[1-2].cmdschool.org
ipAddress = 10.168.0.5[1-2]
OS = CentOS 7.3 x86_64
2.2 JDK安装
2.2.1 下载JDK包
In cassandra0[1-2]:
|
1
2
|
cd ~
wget http://download.oracle.com/otn/java/jdk/8u121-b13/e9e7ea248e2c4826b92b3f075a80e441/jdk-8u121-linux-x64.tar.gz?AuthParam=1495873209_eea482e2b59774918c970cf5dc383fdb
|
注：如需其他版本请参阅，http://www.oracle.com/technetwork/java/javase/archive-139210.html
2.2.2 创建java目录
In cassandra0[1-2]:
|
1
|
mkdir /usr/java
|
2.2.3 解压
In cassandra0[1-2]:
|
1
2
|
tar xf jdk-8u121-linux-x64.tar.gz
mv jdk1.8.0_121/ /usr/java/
|
2.2.4 配置环境变量
In cassandra0[1-2]:
|
1
|
vim /etc/profile.d/java.sh
|
加入如下内容：
|
1
2
3
4
|
export JAVA_HOME=/usr/java/jdk1.8.0_121
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
|
2.2.5 配置生效
In cassandra0[1-2]:
|
1
|
source /etc/profile
|
2.2.6 环境变量测试
In cassandra0[1-2]:
|
1
|
java -version |
2.3 安装Cassandra
2.3.1 先决条件检查
In cassandra0[1-2]:
1）JAVA检查
java -version
显示如下：
|
1
2
3
|
java version "1.8.0_121"
Java(TM) SE Runtime Environment (build 1.8.0_121-b13)Java HotSpot(TM) 64-Bit Server VM (build 25.121-b13, mixed mode) |
2）python检查：
|
1
|
python --version |
显示如下：
|
1
|
Python 2.7.5 |
2.3.2 下载安装包
In cassandra0[1-2]:
|
1
2
|
cd ~
wget https://mirrors.tuna.tsinghua.edu.cn/apache/cassandra/3.10/apache-cassandra-3.10-bin.tar.gz
|
2.3.3 解压安装包
In cassandra0[1-2]:
|
1
|
tar -xf apache-cassandra-3.10-bin.tar.gz
|
2.3.4 部署到程序目录
In cassandra0[1-2]:
|
1
2
|
mkdir /usr/cassandra
mv apache-cassandra-3.10 /usr/cassandra/
|
2.3.5 配置运行用户
In cassandra0[1-2]:
|
1
2
3
|
useradd -s /sbin/nologin -b /var/lib cassandra
chown -R cassandra:cassandra /usr/cassandra/apache-cassandra-3.10
chmod -R 770 /usr/cassandra/apache-cassandra-3.10
|
确认用户数据目录存在：
|
1
|
ls -ld /var/lib/cassandra/
|
显示如下：
|
1
|
drwx------. 6 cassandra cassandra 136 Jun 1 09:42 /var/lib/cassandra/
|
2.3.6 配置环境变量
In cassandra0[1-2]:
1）环境变量配置
|
1
|
vim /etc/profile.d/cassandra.sh
|
加入如下配置：
|
1
2
3
|
export CASSANDRA_HOME=/usr/cassandra/apache-cassandra-3.10
export CASSANDRA_PATH=${CASSANDRA_HOME}/bin
export PATH=${CASSANDRA_PATH}:$PATH
|
2）使环境变量生效
|
1
|
source /etc/profile
|
3）测试环境变量
|
1
|
cassandra -v
|
显示如下：
|
1
|
3.10 |
2.3.7 配置Cassandra的环境变量
In cassandra0[1-2]:
1）环境变量配置
|
1
2
|
cp -a /usr/cassandra/apache-cassandra-3.10/bin/cassandra.in.sh /usr/cassandra/apache-cassandra-3.10/bin/cassandra.in.sh.default
vim /usr/cassandra/apache-cassandra-3.10/bin/cassandra.in.sh
|
启用并修改如下配置：
|
1
2
|
# JAVA_HOME can optionally be set hereJAVA_HOME=/usr/java/jdk1.8.0_121
|
注：提示“Cassandra 3.0 and later require Java 8u40 or later.”时需要配置
2.4 配置Cassandra群集
2.4.1 环境变量配置
|
1
2
|
cp -a /usr/cassandra/apache-cassandra-3.10/conf/cassandra.yaml /usr/cassandra/apache-cassandra-3.10/conf/cassandra.yaml.default
vim /usr/cassandra/apache-cassandra-3.10/conf/cassandra.yaml
|
修改如下配置：
In cassandra01:
|
1
2
3
4
5
6
7
8
9
10
11
|
cluster_name: 'Cassandra Cluster'
seed_provider:- seeds: "10.168.0.51,10.168.0.52"
listen_address: 10.168.0.51rpc_address: 10.168.0.51start_rpc: true
data_file_directories: - /var/lib/cassandra/data
commitlog_directory: /var/lib/cassandra/commitlog
saved_caches_directory: /var/lib/cassandra/saved_caches
|
In cassandra02:
|
1
2
3
4
5
6
7
8
9
10
11
|
cluster_name: 'Cassandra Cluster'
seed_provider:- seeds: "10.168.0.51,10.168.0.52"
listen_address: 10.168.0.52rpc_address: 10.168.0.52start_rpc: true
data_file_directories: - /var/lib/cassandra/data
commitlog_directory: /var/lib/cassandra/commitlog
saved_caches_directory: /var/lib/cassandra/saved_caches
|
注：seeds的配置允许只写其他节点的IP，不写本机IP。
2.4.2 配置cassandra-env环境脚本
|
1
2
|
cp -a /usr/cassandra/apache-cassandra-3.10/conf/cassandra-env.sh /usr/cassandra/apache-cassandra-3.10/conf/cassandra-env.sh.default
vim /usr/cassandra/apache-cassandra-3.10/conf/cassandra-env.sh
|
修改配置如下：
In cassandra0[1-2]:
|
1
2
|
MAX_HEAP_SIZE="1G"
HEAP_NEWSIZE="256M"
|
2.5 防火墙配置
In cassandra0[1-2]:
|
1
2
3
4
|
firewall-cmd --permanent --add-port 7000/tcp
firewall-cmd --permanent --add-port 9042/tcp
firewall-cmd --reloadfirewall-cmd --list-all |
2.6 服务的控制
2.6.1 测试服务启动
In cassandra0[1-2]:
|
1
|
sudo -u cassandra /usr/cassandra/apache-cassandra-3.10/bin/cassandra -f
|
看到如下信息则服务正常启动：
|
1
|
INFO [Thread-2] 2017-06-01 10:51:47,640 ThriftServer.java:133 - Listening for thrift clients...
|
注：按下[Ctrl+C]可结束进程
2.6.2 确认服务正常启动
In cassandra0[1-2]:
|
1
|
pgrep -u cassandra -f cassandra |
显示PID如下：
|
1
|
2596 |
2.6.3 检查群集的状态
In cassandra0[1-2]:
|
1
|
nodetool status |
信息显示如下：
|
1
2
3
4
5
6
7
|
Datacenter: datacenter1=======================Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
-- Address Load Tokens Owns (effective) Host ID RackUN 10.168.0.51 213.63 KiB 256 100.0% 6faefd3b-e2cf-4477-a1c1-922d4f10b7a5 rack1UN 10.168.0.52 103.69 KiB 256 100.0% 3cc4fdd7-53a0-4a67-be7f-fbe1cd8d0571 rack1 |
2.6.4 测试连接
In cassandra02:
|
1
2
|
cqlsh -ucassandra -pcassandra 10.168.0.51cqlsh -ucassandra -pcassandra 10.168.0.52 |
2.6.5 结束进程
In cassandra0[1-2]:
|
1
|
pkill -f cassandra |
2.6.6 配置服务控制脚本
In cassandra0[1-2]:
|
1
|
vim /etc/init.d/cassandrad
|
输入如下内容：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
|
#!/bin/bash# chkconfig: 2345 55 25user="cassandra"
status() { if [ ! `pgrep -u $user -f cassandra | wc -l` -eq 0 ]; then
echo "statusChecking for service cassandra running"
exit 0
else
echo "statusChecking for service cassandra not running"
exit 1
fi
}start() { if [ `pgrep -u $user -f cassandra | wc -l` -eq 0 ]; then
sudo -u $user /usr/cassandra/apache-cassandra-3.10/bin/cassandra > /dev/null
for ((i=60; i>=0; i--)) do
sleep 1s
if [ ! `pgrep -u $user -f cassandra | wc -l` -eq 0 ]; then
echo "start service cassandra finish"
break & exit 0
fi
if [ $i -eq 0 ]; then
echo "start service cassandra failed"
exit 1
fi
done
fi
}stop() { if [ ! `pgrep -u $user -f cassandra | wc -l` -eq 0 ]; then
pgrep -u $user -f cassandra | xargs kill -9
for((i=60; i>=0; i--)) do
sleep 1s
if [ `pgrep -u $user -f cassandra | wc -l` -eq 0 ]; then
echo "stop service cassandra finish"
break & exit 0
fi
if [ $i -eq 0 ]; then
echo "stop service cassandra failed"
exit 1
fi
done
fi
}case "$1" in
start)
start
;;
stop)
stop
;;
restart)
stop
start
;;
status)
status
;;
*)
echo "Usage: $0 {start|stop|restart|status}"
exit 1
esac |
2.6.7 配服务自动启动和启动服务
In cassandra0[1-2]:
|
1
2
|
chkconfig cassandrad on/etc/init.d/cassandrad start
|
=====================================