layout: post
title: "[技术思考]分布式存储系统的雪崩效应"
author:
display_name: mythmgn
categories: 技术思考
tags: [分布式系统,雪崩效应]
toc: true
---
副本是分布式存储系统中的常见概念：将一定大小的数据按照一定的冗余策略存储，以保障系统在局部故障情况下的可用性。
副本间的冗余复制方式有多种，比较常用有两类：
Pipeline：像个管道，a->b->c，通过管道的方式进行数据的复制。该方式吞吐较高，但有慢节点问题，某一节点出现拥塞，整个过程都会受影响
分发：client -> a client ->b client ->c。系统整体吞吐较低，但无慢节点问题
对于冗余副本数目，本文选择常见的三副本方案。
分布式存储系统一般拥有自动恢复副本的功能，在局部存储节点出错时，其他节点（数据副本的主控节点或者client节点，依副本复制协议而定）自动发起副本修复，将该宕机存储节点上的数据副本恢复到其他健康节点上。在少量宕机情况下，集群的副本自动修复策略会正常运行。但依照大规模存储服务运维经验，月百分之X的磁盘故障率和月千分之X的交换机故障率有很大的可能性导致一年当中出现几次机器数目较多的宕机。另外，批量升级过程中若出现了升级bug，集群按照宕机处理需要进行副本修复，导致原本正常时间内可以完成的升级时间延长，也容易出现数目较多的宕机事件。
二 雪崩效应的产生在一段时间内数目较多的宕机事件有较大可能性诱发系统的大规模副本补全策略。目前的分布式存储系统的两个特点导致这个大规模副本补全策略容易让系统产生雪崩效应：
a. 集群整体的free空间较小：通常整体