随着项项目的增多，对测试环境的需求越来越大，今天研发要几台测试环境，明天测试也要几台测试环境，连产品都要测试环境了，咱们运维也得有自己的测试环境，之前搭建的exsi已经满足不了需求了。
刚好内网有几台闲置的机器，于是就着手准备再搭建一套虚拟化平台，EXSI虽说好用，但毕竟是要钱的（之前用的破解版的），本着尊重版权的原则，咱们还是用开源的吧，网上找了一圈，发现目前比较活跃的KVM虚拟化平台有OpenStack、Proxmox VE、oVirt，内部测试用用，OpenStack有点大材小用了，Proxmox VE基本debian定制的，不太喜欢这种模式，而且对debian不是太熟悉，个人还是比较倾向于oVirt，因为oVirt的目标就是瞄准vCenter，而且oVirt和RHEV的关系，有点像Fedora和RHEL，直接CentOS7+Ovirt+GlusterFS比较好的解决方案，怎奈，淘汰下的机器实在是太老了，Ovirt表示硬件不支持，没办法，只能试试Proxmox VE了。
手头资源有限，所以这里先用三台机器组集群环境，用Proxmox VE再配合Ceph存储组成一个高可用的虚拟化平台，Proxmox VE的安装过程这里就不写了，实在是太简单了，将网上下载的proxmox-ve_5.2-1.iso制作成U盘启动盘，U盘启动，一路下一步就可以了，设置好root密码、IP、hostname等信息就好了，ostname要求写成FQDN格式。
#hosts文件配置
root@proxmox233:~# cat >> /etc/hosts << EOF 192.168.5.232 proxmox232.blufly.com proxmox232 192.168.5.231 proxmox231.blufly.com proxmox231 EOF root@proxmox232:~# cat >> /etc/hosts << EOF 192.168.5.233 proxmox233.blufly.com proxmox233 192.168.5.231 proxmox231.blufly.com proxmox231 EOF root@proxmox231:~# cat >> /etc/hosts << EOF 192.168.5.232 proxmox232.blufly.com proxmox232 192.168.5.233 proxmox233.blufly.com proxmox233 EOF
#debian系统更新
rm -f /etc/apt/sources.list.d/pve-enterprise.list echo "deb stretch pve-no-subscription" >/etc/apt/sources.list.d/pve-install-repo.list wget -O /etc/apt/trusted.gpg.d/proxmox-ve-release-5.x.gpg apt update && apt dist-upgrade apt-get install net-tools
设置时钟同步：
apt-get install ntpdate ntpdate 120.25.108.11 echo "0 * * * * /usr/sbin/ntpdate 120.25.108.11 > /dev/null 2>&1" >> /etc/crontab
#配置免登陆访问（这一步可以省略，在加入集群的时候，会自动建立信任关系）
root@proxmox231:~# ssh-keygen -t rsa root@proxmox231:~# ssh-copy-id root@proxmox231 root@proxmox231:~# ssh-copy-id root@proxmox232 root@proxmox231:~# ssh-copy-id root@proxmox233 root@proxmox232:~# ssh-keygen -t rsa root@proxmox232:~# ssh-copy-id root@proxmox231 root@proxmox232:~# ssh-copy-id root@proxmox232 root@proxmox233:~# ssh-copy-id root@proxmox233 root@proxmox233:~# ssh-keygen -t rsa root@proxmox233:~# ssh-copy-id root@proxmox231 root@proxmox233:~# ssh-copy-id root@proxmox232 root@proxmox233:~# ssh-copy-id root@proxmox233
#在192.168.5.231上面创建pve-cluster集群
root@proxmox231:~# pvecm create pve-cluster
#接下来，通过ssh登陆其他2个pve节点，执行 pvecm add 192.168.5.231
root@proxmox233:~# pvecm add 192.168.5.231 successfully added node 'proxmox233' to cluster. root@proxmox232:~# pvecm add 192.168.5.231 successfully added node 'proxmox232' to cluster.
#pvecm status 在任何一个节点上查看集群情况
root@proxmox231:~# pvecm status Quorum information ------------------ Date: Fri Sep 28 15:39:20 2018 Quorum provider: corosync_votequorum Nodes: 3 Node ID: 0x00000001 Ring ID: 1/12 Quorate: Yes Votequorum information ---------------------- Expected votes: 3 Highest expected: 3 Total votes: 3 Quorum: 2 Flags: Quorate Membership information ---------------------- Nodeid Votes Name 0x00000001 1 192.168.5.231 (local) 0x00000003 1 192.168.5.232 0x00000002 1 192.168.5.233
Proxmox支持两种磁盘，一种是服务器本地自带磁盘，另一种是外部存储设备的磁盘。对于服务器本地磁盘，可以配置成本地目录、zfs、brd、lvm几种形式。
对于外部存储设备的磁盘，可以通过nfs，iscsi或者fc协议挂载到Proxmox服务器使用。其中nfs挂载上以后，可以直接作为文件存储使用，通过iscsi或者fc协议挂载后，Proxmox服务器会识别为裸磁盘设备，还需要进一步配置后才可以使用。例如可以配置成lvm，作为卷存储使用，也可以配置成本地目录，作为文件存储使用，但强烈建议不要配置为zfs使用，因为zfs的特点是要求能直接管理物理磁盘设备，如果中间有raid卡等，会严重影响zfs的正常运行。