最近在项目中有涉及到Kubernetes的分布式存储部分的内容，也抽空多了解了一些。项目主要基于Rook-Ceph运行，考虑到Rook-Ceph部署也不那么简单，官方文档的步骤起点也不算低，因此，在整合官方文档的某些步骤的基础上，写篇文章简单总结一下。
Rook-Ceph是Kubernetes中分布式存储的一种解决方案，Rook作为一种开源的、云原生的存储编排器，为各种存储服务在云原生的环境中实现无缝整合，提供了所必须的平台、框架和服务；而Ceph则是Rook所支持的众多存储方案的一种，在Kubernetes环境里，Ceph基于Rook能够为应用程序提供块存储（Block Storage），对象存储（Object Storage）以及共享文件系统（SFS）服务。此处就不对Rook Ceph进行太多的介绍，直接步入正题，一步一步地演练Rook-Ceph从安装部署到使用的整个过程。
注意：本文所有的yaml文件都是为了配合整个演练过程而设计的，理论上不能直接用在生产环境。如有需要，在用在生产环境之前，请确保所需的参数都已正确配置。
安装Kubernetes安装Kubernetes。安装方法有很多，不怕麻烦可以徒手安装，也可以直接使用云供应商的托管服务，比如Azure AKS，也可以使用Rancher RKE，在此就不赘述了。
安装Rook Ceph Operator这里我们基于Ceph来讨论。事实上Rook支持Ceph、Cassandra、CockroachDB、EdgeFS、NFS以及YugabyteDB等多种存储供应商（Storage Provider），针对不同的存储供应商，Rook提供不同的Operator来进行资源的部署和管理。使用下面的命令来安装Rook Ceph Operator:
helm repo add rook-release https://charts.rook.io/release kubectl create namespace rook-ceph helm install --namespace rook-ceph rook-ceph rook-release/rook-ceph 安装Ceph集群（Ceph Cluster）可以使用下面的yaml文件：
# ceph-cluster-deploy.yaml apiVersion: ceph.rook.io/v1 kind: CephCluster metadata: name: rook-ceph namespace: rook-ceph spec: cephVersion: image: ceph/ceph:v15.2.7 allowUnsupported: false dataDirHostPath: /var/lib/rook skipUpgradeChecks: false continueUpgradeAfterChecksEvenIfNotHealthy: false mon: count: 3 allowMultiplePerNode: false mgr: modules: - name: pg_autoscaler enabled: true dashboard: enabled: true ssl: true monitoring: enabled: false rulesNamespace: rook-ceph network: crashCollector: disable: false cleanupPolicy: confirmation: "" sanitizeDisks: method: quick dataSource: zero iteration: 1 allowUninstallWithVolumes: false annotations: labels: resources: removeOSDsIfOutAndSafeToRemove: false useAllNodes: true useAllDevices: false deviceFilter: nvme1n1 config: osdsPerDevice: "1" disruptionManagement: managePodBudgets: false osdMaintenanceTimeout: 30 pgHealthCheckTimeout: 0 manageMachineDisruptionBudgets: false machineDisruptionBudgetNamespace: openshift-machine-api healthCheck: daemonHealth: mon: disabled: false interval: 45s osd: disabled: false interval: 60s status: disabled: false interval: 60s livenessProbe: mon: disabled: false mgr: disabled: false osd: disabled: false然后使用以下命令创建Ceph集群：
kubectl create -f ceph-cluster-deploy.yaml命令执行成功之后，需要等待几分钟，以便OSD能够成功启动。执行下面的命令可以查看所有容器的状态：
kubectl -n rook-ceph get pod正常情况下，应该可以看到类似以下的结果：
NAME READY STATUS RESTARTS AGE csi-cephfsplugin-provisioner-d77bb49c6-n5tgs 5/5 Running 0 140s csi-cephfsplugin-provisioner-d77bb49c6-v9rvn 5/5 Running 0 140s csi-cephfsplugin-rthrp 3/3 Running 0 140s csi-rbdplugin-hbsm7 3/3 Running 0 140s csi-rbdplugin-provisioner-5b5cd64fd-nvk6c 6/6 Running 0 140s csi-rbdplugin-provisioner-5b5cd64fd-q7bxl 6/6 Running 0 140s rook-ceph-crashcollector-minikube-5b57b7c5d4-hfldl 1/1 Running 0 105s rook-ceph-mgr-a-64cd7cdf54-j8b5p 1/1 Running 0 77s rook-ceph-mon-a-694bb7987d-fp9w7 1/1 Running 0 105s rook-ceph-mon-b-856fdd5cb9-5h2qk 1/1 Running 0 94s rook-ceph-mon-c-57545897fc-j576h 1/1 Running 0 85s rook-ceph-operator-85f5b946bd-s8grz 1/1 Running 0 92m rook-ceph-osd-0-6bb747b6c5-lnvb6 1/1 Running 0 23s rook-ceph-osd-1-7f67f9646d-44p7v 1/1 Running 0 24s rook-ceph-osd-2-6cd4b776ff-v4d68 1/1 Running 0 25s rook-ceph-osd-prepare-node1-vx2rz 0/2 Completed 0 60s rook-ceph-osd-prepare-node2-ab3fd 0/2 Completed 0 60s rook-ceph-osd-prepare-node3-w4xyz 0/2 Completed 0 60s需要注意几点：
ceph-cluster-deploy.yaml并没有包括所有的Ceph集群创建的参数，可以参考https://rook.io/docs/rook/v1.5/ceph-cluster-crd.html 来了解所有的配置信息
这里的deviceFilter: nvme1n1是用来指定在每个Kubernetes节点上应该使用的卷（Volume）的名称。这个Volume不能格式化成任何文件系统，否则Ceph将不会使用它作为存储卷。我在AWS上创建了独立的EBS卷，然后直接Attach到Kubernetes节点的机器上，通过lsblk命令即可获得卷的名称，将这个名称填入deviceFilter设置即可
安装Rook Toolbox