三、给集群管理加存储服务
1.ext4文件系统
192.168.0.237（节点）server67.example.com
192.168.0.248（节点）server68.example.com
192.168.0.60（服务器）server60.example.com
在一个存储服务器上共享一块硬盘，作为存储（在实验中，就直接在集群管理的那台服务器上共享一块硬盘）
#yum install scsi-*
#vgs
#lvcreate -L 1G -n iscsi cinder-volumes
#lvs
#vim /etc/tgt/targets.conf
#/etc/init.d/tgtd start
#chkconfig tgtd on
#tgt-admin -s
#在节点上要可以发现这个共享的存储设备 ，在两个节点上都执行
#yum install iscsi-initiator-utils
#iscsiadm -m discovery -t st -p 192.168.0.60
#iscsiadm -m node -l 激活设备
#fdisk -l /dev/sda
现在在两个节点上给此设备做 分区和格式化 (做本地文件系统 ext4)
#fdisk -cu /dev/sda
#mkfs.ext4 /dev/sda1
在web管理界面上添加存储设备资源和资源组
再去资源组(Server Groups)添加此资源
ok现在操作服务组
#clustat
#clusvcadm -d www
现在将此设备先挂载到/var/www/html下
启动服务
#clusvcadm -e www
#clustat 查看服务是否启动成功
#clusvcadm -r www -m server38.example.com
#clustat 这是会发现www运行在server38主机上
2.设备的分区和格式化 (即网络文件系统 gfs2)
clusvcadm -d www 先停掉服务组
删掉服务组里（servies groups）的文件系统（filesystem）资源，再到资源里删掉（delete）存储设备资源
fdisk -cu /dev/sda 把它做成LVM形式
这时在另一节点主机上运行pvs就可以看到刚创建的
pvcreate /dev/sda1
lvmconf --enble-cluster 在 /etc/lvm/lvm.conf做更改，使它可以支持集群
重启服务 /etc/init.d/clvmd restart
在另一节点主机上运行lvs，可以看见同步到的gfs2demo
格式化为gfs2的格式 -t跟更集群的名字：后是标签
两节点主机都进行挂载
# mount /dev/clustervg/gfs2demo /var/www/html
设置为开机自动挂载 直接写入/etc/fstab文件， 在所有节点都做这个操作
查看系统设备信息
vim /etc/fstab
现在mount -a 刷此文件，同时挂载
cd /var/www/html
vim index.html 写东西来进行web测试
web访问集群
192.168.0.111可以看到index.html文件里写入的内容
ok现在开启服务组
clusvcadm -e www
clusvcadm -d www 先停掉服务组
在web管理上面添加
在/etc/fstab中注释掉gfs2设备的挂载 ，解挂
现在在资源加存储设备资源，集群管控添加服务组
ok现在开启服务组
clusvcadm -e www
现在哪个节点工作，那个节点挂载
前提：clusvcadm -d www 删掉原来的存储设备
lvs
vgs
vgremove clustervg
lvs
pvs
pvremove /dev/sda1
iscsiadm -m node -u
iscsiadm -m node -o delete