完善的监控系统能够及时发现问题，防止影响面的进一步扩大和失控，但是，它并不能杜绝现网问题的发生。而真正的根治之法，当然是从起源的地方杜绝这种场景的出现，回到上面“日限量配置错误”的例子场景中，用户在内部管理端发布活动配置时，就直接提示运营同学，这个配置规则是不对的。
在业界，因为配置参数错误而导致的现网重大事故的例子，可以说是多不胜数，“配置参数问题”几乎可以说是一个业界难题，对于解决或者缓解这种错误的发生，并没有放之四海而皆准的方法，更多的是需要根据具体业务和系统场景，亦步亦趋地逐步建设配套的检查机制程序或者脚本。
因此，我们建设了一套强大并且智能的配置检查系统，里面集合了数十种业务的搭配检查规则，并且检查规则的数目一直都在增加。这���规则包括检查礼包日限量之类比较简单的规则，也有检查各种关联配置参数、相对比较复杂的业务逻辑规则。
亿级Web系统的容错性建设实践 - 徐汉彬Hansion - 技术行者
另外一方面，流程的执行不能通过“口头约定”，也应该固化为平台程序的一部分，例如，活动上线之前，我们要求负责活动的同事需要验证一下“礼包领取逻辑”，也就是真实的去领取一次礼包。然而，这只是一个“口头约定”，实际上并不具备强制执行力，如果这位同事因为活动的礼包过多，而漏过其中一个礼包的验证流程，这种事情也的确偶尔会发生，这个也算是“人的失误”的另外一种场景。
亿级Web系统的容错性建设实践 - 徐汉彬Hansion - 技术行者
为了解决问题，这个流程在我们AMS的内部管理端中，是通过程序去保证的，确保这位同事的QQ号码的确领取过全部的礼包。做法其实挺简单的，就是让负责活动的同事设置一个验证活动的QQ号码，然后，程序在发货活动时，程序会自动检查每一个子活动项目中，是否有这个QQ号码的活动参与记录。如果都有参与记录，则说明这位同事完整地领取了全部礼包。同时，其他模块的验证和测试，我们也都采用程序和平台来保证，而不是通过“口头约定”。
亿级Web系统的容错性建设实践 - 徐汉彬Hansion - 技术行者
通过程序和系统对业务逻辑和流程的保证，尽可能防止“人的失误”。
这种业务配置检查程序，除了可以减少问题的发生，实际上也减轻了测试和验证活动的工作，可以起到节省人力的效果。不过，业务配置检查规则的建设并不简单，逻辑往往比较复杂，因为要防止误杀。
七、 小结无论是人还是机器，都是会产生“失误”，只是对于单一个体，发生的概率通常并不大。但是，如果一个系统拥有数百台服务器，或者有一项工作有几百人共同参与，这种“失误“的概率就被大大提升，失误很可能就变为一种常态了。机器的故障，尽可能让系统本身去兼容和恢复，人的失误，尽可能通过程序和系统流程来避免，都尽可能做到”不依赖于人“。
容错的核心价值，除了增强系统的健壮性外，我觉得是解放技术人员，尽可能让我们不用凌晨起来处理告警，或享受一个相对平凡闲暇的周末。对于我们来说，要完全做到这点，还有很长的路要走，与君共勉。