RHCE学习RHCS集群（RHCS+GFS2+ISCSI）

简单介绍：

RHCS（REDHAT CLUSTER SUITE:红帽群集套件）是一款能够提供高性能、高可靠性、负载均衡、高可用性的集群工具集,一个集群通常有两个或两个以上的计算机（称为“节点”或”成员“）共同执行一个任务。

GFS（Google File System）GFS是一个可扩展的分布式文件系统，用于大型的、分布式的、对大量数据进行访问的应用。是RHCS为集群系统提供的一个存储解决方案，它允许集群的多个节点在块级别上共享存储，多个节点同时挂载一个文件系统分区，而使文件系统数据不受破坏，单一的ext2或ext3无法做到。

为了实现多个节点对一个文件系统同时进行读写操作，GFS使用锁管理器（DLM）来管理I/O操作：当一个写进程操作一个文件时，此文件被锁定，其它进程无法进行读写操作，操作完成后，RHCS底层机制会把此操作在其它节点上可见。

环境概述：

node1.rhcs：192.168.0.202

Luci+iscsi共享存储：192.168.0.204

VTP:192.168.0.206

一、配置iscsi共享存储+Luci集群web管理

1、创建LVM卷，方便以后扩展

1
2
3
4


fdisk –l #查看磁盘分区状况；

pvcreate /dev/sdb #pvdisplay

vgcreate vg1 /dev/sdb #vgdisplay

lvcreate -n halv -L 10G myvg #lvdisplay -L：指定创建逻辑卷的大小

2、创建iscsi-target共享卷：

1
2
3
4
5
6
7
8
9
10


yum –y install scsi-target-utils

vi /etc/tgt/targets.conf

<target iqn.2013-10.com.test:target>

 backing-store /dev/myvg/mylv #此处以逻辑卷作iscsi存储

 initiator-address 192.168.0.202 #允许两个节点都访问此ISCSI存储的LUN

 initiator-address 192.168.0.203

</target>
service tgtd start
chkconfig tgtd on

tgt-admin -show或tgtadm --lld iscsi --op show --mode target #查看存储的实际访问状况

3、安装Luci-Web管理工具

1
2
3


yum install -y luci
service luci start
chkconfig luci on

https://192.168.0.204:8084 #访问luci管理页面！

二、在两台集群节点安装集群软件并连接iscsi共享存储

1、安装集群软件

1
2
3
4
5
6
7
8


yum install -y ricci cman rgmanager lvm2-cluster gfs2-utils
service acpid stop

service NetworkManager stop #rhcs集群不支持networkmanager管理，需要停掉
chkconfig acpid off
chkconfig NetworkManager off
service ricci start
chkconfig ricci on

passwd ricci #设置ricci用户密码，在luci添加节点里面填写的密码

2、连接iscsi存储

1
2
3
4
5
6
7
8
9


yum install -y iscsi-initiator-utils
Service iscsi start
chkconfig iscsi on

iscsiadm -m discovery -t st –p 192.168.1.227  #发现iscsi共享卷，默认端口3260

iscsiadm -m node -l iqn.2013-10.com.test:target #登陆iscsi存储

fdisk –l #会看到/dev/sdb这个iscsi磁盘

iscsiadm -m node –l #login session

iscsiadm -m node –u #logout session

iscsiadm -m session #view session

3、节点创建LVM卷（节点1创建即可，节点2会自动同步）

集群软件必须都安装启动（clvmd cman ）了，要不然会报错如下：

1
2
3
4
5
6


pvcreate /dev/sda1

vgcreate -c y havg /dev/sda1 #-c y ：让vg支持cluster

vgdisplay #查看是否支持cluster，会显示cluster yes

lvmconf --enable-cluster #启动集群

service clvmd restart #重新加载集群
lvcreate -n halv -L 10G myvg

4、创建GFS2集群文件系统

1

mkfs.gfs2 -p lock_dlm -t webcluster:target -j 3 /dev/myvg1/halv

-p：定义为 DLM锁方式，如果不加此参数，挂载的分区就像ext4格式，信息不能同步。

-t：集群名和自定义标志名，也可以是共享卷名

-j：GFS分区中最多支持多少个节点同时挂载，通常设定值为节点数+1

在两个节点上分别挂载:

5、开机自动挂载及测试

1
2

vi /etc/fstab

/dev/myvg1/halv /data gfs2 _netdev,defaults 0 0

也可以用blkid命令查看其UUID，然后用UUID来挂载此ISCSI磁盘

1

UUID=xxxxxxxxxxxx /mnt/data1 gfs2 _netdev,defaults 0 0

测试是否同步：在节点1/data目录下创建index.html会自动同步到节点2/data下，然后修改apache根目录为/data，很简单，略！

三、登陆Luri创建集群

https://192.168.0.204:8084 #登陆Luci配置页面，输入本机root和密码进入

进入Manage Clusters

点击Create集群

点击Create Cluster

开始创建集群，加入集群的两个节点会重新启动，重启完毕后，集群就创建成功！

点击Fence Devices创建fence设备，因为不是用的服务器，没有fence设备，我随意建了一个SRF，实际生产环境中，必须使用fence硬件设备。

Add添加fence设备

回到nodes菜单下，添加fence设备，两个节点配置一样，点击某个节点，出现节点详情后点击add fence method添加一个method，
点击add fence instance，添加刚才设定的SRF。

配置完成！

四、创建集群服务组

Web高可用需要两个资源：虚拟ip(192.168.0.206)和/etc/init.d/httpd

点击Resources

点击Add添加资源，两个节点配置基本一样。

添加故障域，并设备节点优先级（注意如果要做双机互备，就要添加两个故障域），一个节点可以在多个故障域中：

新建服务组，添加刚才新建的两个资源进服务组，我的service group服务组死活点Add都没反应，坑爹，以下是大致步骤：

点击“service”选项，单击“add”按钮,如下图所示：

点击上图的”add a resource”按钮，添加资源，设置虚拟IP

启动服务组

测试

通过上图可以看出节点192.168.1.232是活跃的，正在接管资源响应用户的访问请求。或在192.168.1.232主机上执行下面的命令

五、管理命令

clustat #查看每个节点集群活动状

ccs_test connect #检测是否连接成功

ccs_tool检测运行状态是否正常

target如果有外连接会停止失败，只有杀死tgtd进程。

提示：

1、每个节点上必须启动clvmd服务，不然无法挂载/dev/myvg1/halv到/data

2、确保每个节点的cman、rgmanager、ricci、modclusterd、clvmd服务能正常启动，若不能启动则要手动将服务启动起来;并设置开机自动启动。

1
2
3

Service cman status (start,stop)
Service rgmanager status (start,stop)
Service clvmd status (start,stop)

3、动态查看群集服务日志

1

tail –f /var/log/messages

RHCE学习RHCS集群（RHCS+GFS2+ISCSI）

相关推荐