继上篇《ProxmoxVE V5.2集群安装图解)》 ，本来想模拟生产环境实现3节点集群，并且使用ceph分布式存储实现虚拟机级别的HA，但是在使用pveceph 工具创建ceph环境的时候出错了，发现需要商业订阅才能使用。因此这篇博文想从另一个角度，先搭建外部ceph存储集群，供pve直接使用外部ceph存储 。
同样的，先准备3个节点的环境，先装上proxmox5.2-1 ，然后在这个3个节点上使用ceph-deploy安装部署ceph集群。
一.环境准备：
创建3个虚拟机，3vcpu/12G内存/4块硬盘/2块网卡 ，其中硬盘方面1块硬盘为系统盘31G，2块30G的ceph盘，1块32G的lvm盘，网卡方面1块网卡同时给集群和虚拟机使用（192.168.1.0/24网段），1块网卡作为ceph存储网络（192.168.170.0/24网段）使用。创建虚拟机如下：
剩下2台测试虚拟机，直接克隆，分别为pve-2，pve-3 .
接下来分别启动pve-1，pve-2，pve-3 进行proxmox VE的安装，如下图：
安装步骤都很简单，傻瓜式的，其中选择硬盘会默认第一块硬盘安装系统，然后是设置root密码等等，网络配置步骤：
这里hostname要求写成FQDN格式，我试了直接使用pve-2，不行，最后是使用pve-2.ywb.com 。
3台虚拟机同时安装，非常快，不到10分钟，居然就安装完了！感觉比装vmware的ESXI也更快啊。
点右下角的Reboot重启。
第一阶段搞定，后面就可以建集群，配网络，建存储之类的后续操作了。
通过输入网址：
https://192.168.1.51:8006
https://192.168.1.52:8006
https://192.168.1.53:8006
分别可以管理这3台pve。
debian系统更新：
接下来下来我们更新一下proxomx的软件，proxmox的底层毕竟是个debian系统，刚安装还是要更新一下的，在shell中输入aptupdate && apt dist-upgrade，回车，发现报错无法更新，查看官方文档发现需要更改一些设置，在shell输入
rm -f /etc/apt/sources.list.d/pve-enterprise.list 添加新的 echo "deb stretch pve-no-subscription" >/etc/apt/sources.list.d/pve-install-repo.list 下载秘钥 wget -O /etc/apt/trusted.gpg.d/proxmox-ve-release-5.x.gpg 再次输入 apt update && apt dist-upgrade
二. ceph集群安装
ceph集群我准备使用192.168.1.0/24这个网段作为ceph的集群管理网络，192.168.170.0/24 作为ceph数据网络。首先找到ceph官网的指导网页：
#ceph-deploy-setup
根据上面这个操作手册，看ProxmoxVE5.2-1使用的是debian 9 操作系统。具体步骤如下：
环境预配置
配置/etc/hosts：
以pve-1为例： 192.168.1.51 pve-1.ywb.com pve-1 pvelocalhost 192.168.1.52 pve-2.ywb.com pve-2 192.168.1.53 pve-3.ywb.com pve-3
<>配置免登陆访问
<>生成ssh-key
# ssh-keygen ---pve环境已经生成了，略过 对需要访问的机器进行认证,拷贝到所有节点 # ssh-copy-id root@pve-1 # ssh-copy-id root@pve-2 # ssh-copy-id root@pve-3
设置防火墙：
查看了iptables -L 以及 iptables -L -t nat ，发现防火墙没有任何设置，如果在后续pve启用防火墙的过程中，需要特别注意ceph这一块相应的端口需要开放，主要有这些端口：
OSD使用的端口：6800-7300
monitor使用的端口：6789
设置时钟同步：
apt install ntp
配置ceph软件源 （使用163镜像）
wget -q -O- 'https://download.ceph.com/keys/release.asc' | apt-key add - echo deb stretch main | tee /etc/apt/sources.list.d/ceph.list #使用163基础镜像源，修改sources.list文件如下： root@pve-1# more /etc/apt/sources.list #deb stretch main contrib deb stretch main contrib #deb stretch-updates main contrib deb stretch-updates main contrib # security updates deb stretch/updates main contrib
安装ceph-deploy工具
ceph-deploy是ceph官方提供的部署工具，它通过ssh远程登录其它各个节点上执行命令完成部署过程，我们可以随意选择一台服务器安装此工具，为方便，这里我们选择pve-1节点安装ceph-deploy