分布式系统是难于理解、设计、构建 和管理的,他们将比单个机器成倍还要多的变量引入到设计中,使应用程序的根源问题更难发现。SLA(服务水平协议)是衡量停机和/或性能下降的标准,大多数现代应用程序有一个期望的弹性SLA水平,通常按"9"的数量增加(如,每月99.9或99.99%可用性)。每个额外的9变得越来越难实现。
分布式系统通常是以静态分区,比如Akka/Play、 Spark/Hadoop、Storm和 Redis各自分区分组划分。静态分区带来的缺点是增加复杂性,随着机器数量增加,软件管理越来越复杂,失败管理维护越来越难。而且资源消耗非常不经济,下图是静态分区下资源利用率:
Apache Mesos能够在同样的集群机器上运行多种分布式系统类型,更加动态有效率低共享资源。提供失败侦测,任务发布,任务跟踪,任务监控,低层次资源管理和细粒度的资源共享,可以扩展伸缩到数千个节点。Mesos已经被Twitter用来管理它们的数据中心。
Mesos架构图如下:
Mesos框架是一个在Mesos上运行分布式应用的应用程序,它有两个组件:
调度器 : 与Mesos交互,订阅资源,然后在mesos从服务器中加载任务。
执行器 : 从框架的环境变量 配置中获得信息,在mesos从服务器中运行任务。
下面看看其是如何实现资源调用?Mesos通过"resources offers" 分配资源,资源其实是当前可用资源的一个快照,调度器将使用这些资源在mesos从服务器上运行任务。
Mesos主从服务器调度资源的顺序图如下:
首先由Mesos主服务器查询可用资源给调度器,第二步调度器向主服务器发出加载任务,主服务器再传达给从服务器,从服务器向执行器命令加载任务执行,执行器执行任务以后,将状态反馈上报给从服务器,最终告知调度器 。
从服务器下管理多个执行器,每个执行器是一个容器,以前可以使用Linux容器LXC,现在使用Docker容器。
失败恢复和高可用性Mesos主服务器使用Zookeeper进行服务选举和发现。它有一个注册器记录了所有运行任何和从服务器信息,使用MultiPaxos进行日志复制实现一致性。
Mesos有一个从服务器恢复机制,无论什么时候一个从服务器死机了,用户的任务还是能够继续运行,从服务器会将一些关键点信息如任务信息 状态更新持久化到本地磁盘上,重新启动时可以从磁盘上恢复运行这些任务(类似Java中的钝化和唤醒)
什么是Marathon它是一个mesos框架,能够支持运行长服务,比如web应用等。是集群的分布式Init.d,能够原样运行任何Linux二进制发布版本,如Tomcat Play等等,可以集群的多进程管理。也是一种私有的Pass,实现服务的发现,为部署提供提供REST API服务,有授权和SSL、配置约束,通过HAProxy实现服务发现和负载平衡。
这样,我们可以如同一台Linux主机一样管理数千台服务器,它们的对应原理如下图,使用Marathon类似Linux主机内的init Systemd等外壳管理,而Mesos则不只包含一个Linux核,可以调度数千台服务器的Linux核,实际是一个数据中心的内核:
安装配置首先,我们需要设置Mesos集群环境,下面我们以在Ubuntu 14.04 vagrant 节点上设置Mesos master/slave 和 Zookeeper。安装依赖:
$ apt-get install curl Python-setuptools python-pip python-dev python-protobuf安装zookeeper:
$ apt-get install zookeeperd安装后,Zookeeper有一个配置,每个Zookeeper需要知道它在quorum中的位置。
$ echo 1 | sudo dd of=/var/lib/zookeeper/myid下面设置Docker:
$ echo "deb docker main" > /etc/apt/sources.list.d/docker.list
$ apt-get update && apt-get install lxc-docker