安装CentOS7.3虚拟机三台
由于官网源与网盘下载速度都非常的慢,所以给大家提供了国内的搜狐镜像源:
在三台装好的虚拟机上分别加三块100G的硬盘。如图所示:
3.配置ip
ceph-1 ceph-2 ceph-3192.168.42.200 192.168.42.201 192.168.42.203
修改可参照下面的配置文件即可
[root@localhost ~ ]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE=Ethernet
BOOTPROTO=none
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.42.200
GATEWAY=192.168.42.2
NETMASK=255.255.255.0
DNS1=8.8.8.8
DNS2=8.8.4.4
[root@localhost ~ ]# systemctl restart network
4.修改yum源,官网的yum源可能会很慢,所以可以添加ali的
[root@localhost ~ ]# yum clean all
[root@localhost ~ ]# curl >/etc/yum.repos.d/CentOS-Base.repo
[root@localhost ~ ]# curl >/etc/yum.repos.d/epel.repo
[root@localhost ~ ]# sed -i '/aliyuncs/d' /etc/yum.repos.d/CentOS-Base.repo
[root@localhost ~ ]# sed -i '/aliyuncs/d' /etc/yum.repos.d/epel.repo
[root@localhost ~ ]# yum makecache
5.修改主机名和安装一些软件
[root@localhost ~ ]#
6.最后的工作,将各个主机的IP加入各自的/etc/hosts中
[root@localhost ~ ]# vim /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.42.200 ceph-1
192.168.42.201 ceph-2
192.168.42.202 ceph-3
7.重启服务器环境生效。
二、集群搭建
1.集群配置如下:
主机IP功能ceph-1 192.168.42.200 deploy、mon*1、osd*3
ceph-2 192.168.42.201 mon*1、 osd*3
ceph-3 192.168.42.202 mon*1 、osd*3
2.环境清理
如果之前部署失败了,不必删除ceph客户端,或者重新搭建虚拟机,只需要在每个节点上执行如下指令即可将环境清理至刚安装完ceph客户端时的状态!强烈建议在旧集群上搭建之前清理干净环境,否则会发生各种异常情况。
[root@ceph-1 cluster]# ps aux|grep ceph |awk '{print $2}'|xargs kill -9
[root@ceph-1 cluster]# ps aux|grep ceph #确保所有进程已经结束
ps -ef|grep ceph
#确保此时所有ceph进程都已经关闭!!!如果没有关闭,多执行几次。
umount /var/lib/ceph/osd/*
rm -rf /var/lib/ceph/osd/*
rm -rf /var/lib/ceph/mon/*
rm -rf /var/lib/ceph/mds/*
rm -rf /var/lib/ceph/bootstrap-mds/*
rm -rf /var/lib/ceph/bootstrap-osd/*
rm -rf /var/lib/ceph/bootstrap-rgw/*
rm -rf /var/lib/ceph/tmp/*
rm -rf /etc/ceph/*
rm -rf /var/run/ceph/*
3.yum源及ceph的安装
需要在每个主机上执行以下指令
yum clean all
rm -rf /etc/yum.repos.d/*.repo
wget -O /etc/yum.repos.d/CentOS-Base.repo
wget -O /etc/yum.repos.d/epel.repo
sed -i '/aliyuncs/d' /etc/yum.repos.d/CentOS-Base.repo
sed -i '/aliyuncs/d' /etc/yum.repos.d/epel.repo
sed -i 's/$releasever/7/g' /etc/yum.repos.d/CentOS-Base.repo
4.增加ceph的源
vim /etc/yum.repos.d/ceph.repo
添加以下内容:
[ceph]
name=ceph
baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/x86_64/
gpgcheck=0
[ceph-noarch]
name=cephnoarch
baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/noarch/
gpgcheck=0
5.安装ceph客户端:
yum makecache
yum install ceph ceph-radosgw rdate -y
关闭selinux&firewalld
sed -i 's/SELINUX=.*/SELINUX=disabled/' /etc/selinux/config
setenforce 0
systemctl stop firewalld
systemctl disable firewalld
同步各个节点时间:
yum -y install rdate
rdate -s time-a.nist.gov
echo rdate -s time-a.nist.gov >> /etc/rc.d/rc.local
chmod +x /etc/rc.d/rc.local
6.开始部署
在部署节点(ceph-1)安装ceph-deploy,下文的部署节点统一指ceph-1:
[root@ceph-1 ~]# yum -y install ceph-deploy
[root@ceph-1 ~]# ceph-deploy --version
1.5.34
[root@ceph-1 ~]# ceph -v
ceph version 10.2.2 (45107e21c568dd033c2f0a3107dec8f0b0e58374)
7.在部署节点创建部署目录并开始部署:
[root@ceph-1 ~]# cd
[root@ceph-1 ~]# mkdir cluster
[root@ceph-1 ~]# cd cluster/
[root@ceph-1 cluster]# ceph-deploy new ceph-1 ceph-2 ceph-3
如果之前没有ssh-copy-id到各个节点,则需要输入一下密码,过程log如下: