我当初的设计是需要将最后一块32G的盘/dev/sdb作为目录/var/lib/vz的挂载盘，这个目录下面存放镜像文件，备份文件，也可以直接存放本机虚拟机文件和容器文件。这一块工作需要先在后台将sdb这块盘划分了lvm才能给系统使用。因此， 首先通过ssh登陆pve服务器，执行：
pvcreate /dev/sdb ---注意，我这里没有分区，直接使用整块硬盘，使用分区其实也是可以的 vgcreate vg-sdb /dev/sdb lvcreate --thin -L 30G -n lvm-sdb vg-sdb 注：不能使用32G，提示空间不够，--thin表示类型是lvm-thin ，如果创建的时候没有加这个参数，可以事后执行lvconvert --type thin-pool vg-sdb/lvm-sdb 命令转化类型，如果是为挂载目录使用，可以不使用thin类型。 mkfs.ext4 /dev/vg-sdb/lvm-sdb 更改local存储目录/var/lib/vz的挂载点为/dev/vg-sdb/lvm-sdb : mount /dev/vg-sdb/lvm-sdb /var/lib/vz 在/etc/fstab文件中写入下面这行，使开机自动挂载： /dev/vg-sdb/lvm-sdb /var/lib/vz ext4 defaults 1 2
调整pve-1节点的local存储池为共享池，这样可以只上传镜像到这个存储池，其他节点也可以共享使用，如下图：
上传第一个ISO镜像，通过scp程序，我用的是winscp，直接从本机上传到pve-1的/var/lib/vz/templates/iso/目录中，如下图：
当然，也可以使用web管理界面直接上传，如下图：
四.创建集群：
在其中一台pve服务器的web管理界面上首先创建一个集群，如下图：
接下来，通过ssh登陆其他2个pve节点，执行 pvecm add 192.168.1.51 （这个地址是上面建立集群的pve节点的IP）命令加入集群cluster1，如下图：
加入完成之后，可以通过命令 pvecm status 在任何一个节点上查看集群情况，如下图：
如果要查看集群日志，可以看文件/var/log/daemon.log 。
集群建立完成之后，任何一个pve节点的web管理界面视图都可以管理整个集群，如下图：
五.ceph安装配置
参考官网这个网址：
https://www.proxmox.com/en/training/video-tutorials/item/install-ceph-server-on-proxmox-ve
这是一个详细的视频教程，基本的设计思路和我这个环境差不多，都是3个节点，只有网络是真正的3个网络，我是因为条件限制，将集群管理和虚拟机业务网络合二为一了，其他的都差不多。
首先在每一个节点安装ceph软件包：
pveceph install --version luminous
注意，官网视频里面用的jewel版本，我们安装的pve版本是5.2对应的ceph版本已经是luminous版本了。
执行过程中提示软件包相关错误，如下：
W: (pve-apt-hook) !! WARNING !! W: (pve-apt-hook) You are attempting to remove the meta-package 'proxmox-ve'! W: (pve-apt-hook) W: (pve-apt-hook) If you really you want to permanently remove 'proxmox-ve' from your system, run the following command W: (pve-apt-hook) touch '/please-remove-proxmox-ve' W: (pve-apt-hook) and repeat your apt-get/apt invocation. W: (pve-apt-hook) W: (pve-apt-hook) If you are unsure why 'proxmox-ve' would be removed, please verify W: (pve-apt-hook) - your APT repository settings W: (pve-apt-hook) - that you are using 'apt-get dist-upgrade' or 'apt full-upgrade' to upgrade your system E: Sub-process /usr/share/proxmox-ve/pve-apt-hook returned an error code (1) E: Failure running script /usr/share/proxmox-ve/pve-apt-hook
需要执行这个命令进行确认：
touch '/please-remove-proxmox-ve' 再次执行install命令，最后还是有一个报错： cp: cannot stat '/usr/share/doc/pve-manager/examples/ceph.service': No such file or directory could not install ceph.service
然后发现pveceph命令找不到了！！！！ 应该是在上面安装过程中软件包错误处理的时候将这个软件包卸载了。咋办？另外，在web管理界面，创建虚拟机启动虚拟机连接虚拟机失败，说明上面命令卸载了部分或者大部分关键软件包，嗝屁了。通过在网上查相关信息，只看到全真道长sery那里就在几天前也发现了这个问题，确认就是没有订阅造成的，被一家公司控制的开源产品，缺陷出来了。道长sery那边的消息是，如果订阅，是249.9欧元每CPU每年，这算下来与vmware的授权也差不多了，那我还用个毛的开源软件啊。下图是官网的报价：
看来只有自己手动安装ceph集群了。
总结：