除了存储节点外,另一些监控节点组成的小集群,负责监控存储节点的执行状态,它们通过Paxos协议达到一致和保持数据冗余,Paxos和ZooKeeper中用到的领导者选择算法Zap协议相似,仅仅要保证这些host中的大多数host不出故障即可,而且我们一般选择奇数台host,举个样例,在5个host的监控集群中,不论什么两台机器故障的情况下服务都能继续执行。
在一致性保证方面,在ZooKeeper中,领导者与尾随者非常聪明,尾随者通过更新号(唯一的全局标识叫zxid, ZooKeeper Transaction ID)来滞后领导者,这样大部分host确认更新之后,写操作就能被提交了。Ceph换汤不换药,这个全局标识改了个名叫epoch序号,所以Monitor节点记录的是epoch序号和一些全局状态(如存储节点是否在线,地址port等),非常轻量,每个监測到存储节点发生变更时,如存储节点上线或下线,将epoch序号添加以差别先前的状态。总之,Monitor节点维护了这些集群状态映射对象ClusterMap,包含:monitor map, OSD map, placement group (PG) map, CRUSH map, epoch map。比如当存储节点宕机时,监控节点发现后更新epoch和ClusterMap,然后通过gossip p2p方式推送给存储节点(这样的p2p通知和存储节点自主复制和HDFS中的master-slave模型是有差别的),存储节点再又一次计算CRUSH决定将宕机机器丢失副本补上,因为一致性哈希的特性,发生变更的PG不会非常多,也就是说抖动性不会非常大。