以前找了一台物理服务器直接安装了一个proxmox VE 环境（VE是虚拟化环境的意思），后续又看了官方的admin文档，对整个系统架构有了一定的了解，接下来，准备好好研究一下具体能够落在生产环境上的系统设计。官方文档可以在官网下载，也可以在安装pve之后在web界面上直接查看或者下载，如下图：
设计思路：
基本想法是，3个以上物理节点的集群环境，组成HA，具体设想如下：
1.网络方面需要内部集群管理（corosync）网络，业务网络，ceph存储网络，3个网络，需要强调的是，内部集群网路需要独立出来，因为集群网络对延时的要求很苛刻，具体详见官方文档。如果有条件，每个网络都做bond。bond类型的选择，集群管理网络直接使用active-backup，其他的最好使用LACP（802.3ad）链路聚合，但是这种方式需要在交换机侧做配置，两个交换机之间也要做级联，链路聚合的好处是一稳定，二带宽不浪费，三高可用 。
2.存储方面，除了系统盘之外，每台物理机使用2块硬盘贡献出来作为ceph存储池使用，1块硬盘作为本地lvm存储并挂载给镜像和备份目录使用，这样可以比较灵活，需要实现HA功能虚拟机可以放在ceph存储池，lvm存储池主要存放模板镜像文件，也可以给其他虚拟机使用，lvm存储池的虚拟机在相应速度上理论上要比ceph的要高，这里具体不阐述。ceph存储池使用3mon，3副本。
3.CPU和内存方面根据实际需求确定，这里不赘述。
操作记录：
一.环境准备：
基于以上考虑，在这台pve环境上面，创建3个虚拟机，3vcpu/12G内存/4块硬盘/2块网卡 ，其中硬盘方面1块硬盘为系统盘31G，2块30G的ceph盘，1块32G的lvm盘，网卡方面1块网卡同时给集群和虚拟机使用（192.168.1.0/24网段），1块网卡作为ceph存储网络（192.168.170.0/24网段）使用。创建虚拟机如下：
剩下2台测试虚拟机，直接克隆，分别为pve-2，pve-3 .
接下来分别启动pve-1，pve-2，pve-3 进行proxmox VE的安装，如下图：
安装步骤都很简单，傻瓜式的，其中选择硬盘会默认第一块硬盘安装系统，然后是设置root密码等等，网络配置步骤：
这里hostname要求写成FQDN格式，我试了直接使用pve-2，不行，最后是使用pve-2.ywb.com 。
3台虚拟机同时安装，非常快，不到10分钟，居然就安装完了！感觉比装vmware的ESXI也更快啊。
点右下角的Reboot重启。
第一阶段搞定，后面就可以建集群，配网络，建存储之类的后续操作了。
通过输入网址：
https://192.168.1.51:8006
https://192.168.1.52:8006
https://192.168.1.53:8006
分别可以管理这3台pve。
二.配置网络
先将第二块网卡的网络配上，系统安装过程中配置了第一块网卡作为内部管理集群网络，网段是192.168.1.0/24 ，登陆系统后可以发现这个地址是配置在网桥上的，网桥上搭一块网卡进行桥接，因此新建一个网桥并配置192.168.170.0/24网段的地址给它，搭另一块网卡进行桥接，如下图：
注意第一块网卡设置了网关是192.168.1.1，这块网卡就不能设置网关了 。这个比较好理解，其实就是在主机上设置了默认网关，只能有一个。
增加完网桥之后，需要重启pve节点生效配置。（网络更改都需要重启节点才能生效。）
三.存储设置
接下来处理存储，进去看pve节点的存储，安装的时候安装程序会默认在安装盘上建立一个vg，名称是pve，在这个vg上建立swap/root/data三个lv ，其中root这个lv上挂载/根目录。 安装完成之后直接默认有两个存储ID，一个是local，对应的是目录型存储，挂载目录是/var/lib/vz ，一个是local-lvm，挂载的是data这个lv，这个lv的类型是lvm-thin ，lvm-thin这种类型很适合虚拟机使用，具体如何创建后面再介绍。另外，pve的各种存储类型主要有目录型/lvm/lvm-thin/zfs/nfs/ceph等等，具体可以参考官网的admin文档。