大数据框架开发基础之Zookeeper入门 (2)

Zookeeper 将所有的数据存储在内存中,数据模型是一个 Znode Tree 。主节点是 / ,如下所示:

在节点中,我们又有持久节点和临时节点一说。所谓持久节点,除非你进行了ZNode的移除操作,否则 Zookeeper 将一直保留在 Zookeeper 上。临时节点不同的是,它的生命周期和当前会话一致。一旦会话结束,这个临时节点也就结束了。另外,Zookeeper 允许用户为每个节点添加一个特殊属性: SEQUENTIAL , 一旦节点被标记上这个属性,那么在节点被创建的时候,Zookeeper 会自动在其节点后面追加上一个整型数字,这个数字是一个由父节点维护的自增数字。

版本

每个 Znode 上都会存储数据,对应每个 ZNode , Zookeeper 会维护一个 Stat 的数据结构。 Stat 记录了这个 ZNode 的三个数据版本,分别是 version(当前的 ZNode 版本),cversion(当前 ZNode 子节点的版本), 和 cversion(当前 ZNode 的 ACL 版本)。

Watcher

Watcher(事件监听器), 是Zookeeper 中的一个很重要的特性。Zookeeper 允许用户在指定节点上注册一些 Watcher ,并且在一些特定事件触发的时候, Zookeeper 服务端 会将事件通知到感兴趣的客户端上去,该机制是 Zookeeper 实现分布式协调服务的重要特性。

ACL

Zookeeper 通过采用 ACL (aCCESSControlLists) 策略来进行权限控制。有如下五种权限:

create:创建子节点的权限

READ:获取节点数据和子节点列表的权限

WRITE:更新节点的权限

DELETE:删除节点的权限

ADMIN:设置节点ACL权限

Zookeeper 内部原理 选举机制

1)半数机制:集群中半数以上机器存活,集群可用。所以Zookeeper适合安装奇数台服务器。

2)Zookeeper虽然在配置文件中并没有指定Master和Slave。但是,Zookeeper工作时,是有一个节点为Leader,其他则为Follower,Leader是通过内部的选举机制临时产生的。

3)以一个简单的例子来说明整个选举的过程。

假设有五台服务器组成的Zookeeper集群,它们的id从1-5,同时它们都是最新启动的,也就是没有历史数据,在存放数据量这一点上,都是一样的。如图所示:

Zookeeper内部原理

(1)服务器1启动,此时只有它一台服务器启动了,它发出去的报文没有任何响应,所以它的选举状态一直是LOOKING状态。

(2)服务器2启动,它与最开始启动的服务器1进行通信,互相交换自己的选举结果,由于两者都没有历史数据,所以id值较大的服务器2胜出,但是由于没有达到超过半数以上的服务器都同意选举它(这个例子中的半数以上是3),所以服务器1、2还是继续保持LOOKING状态。

(3)服务器3启动,根据前面的理论分析,服务器3成为服务器1、2、3中的老大,而与上面不同的是,此时有三台服务器选举了它,所以它成为了这次选举的Leader。

(4)服务器4启动,根据前面的分析,理论上服务器4应该是服务器1、2、3、4中最大的,但是由于前面已经有半数以上的服务器选举了服务器3,所以它只能接收当小弟的命了。

(5)服务器5启动,同4一样当小弟。

Stat 数据结构

1)czxid-创建节点的事务zxid

每次修改ZooKeeper状态都会收到一个zxid形式的时间戳,也就是ZooKeeper事务ID。

事务ID是ZooKeeper中所有修改总的次序。每个修改都有唯一的zxid,如果zxid1小于zxid2,那么zxid1在zxid2之前发生。

2)ctime - znode被创建的毫秒数(从1970年开始)

3)mzxid - znode最后更新的事务zxid

4)mtime - znode最后修改的毫秒数(从1970年开始)

5)pZxid-znode最后更新的子节点zxid

6)cversion - znode子节点变化号,znode子节点修改次数

7)dataversion - znode数据变化号

8)aclVersion - znode访问控制列表的变化号

9)ephemeralOwner- 如果是临时节点,这个是znode拥有者的session id。如果不是临时节点则是0。

10)dataLength- znode的数据长度

11)numChildren - znode子节点数量

监听器原理

首先要有一个 main() 线程;

在 main() 线程中创建 Zookeeper 客户端,这时就会创建两个线程,一个负责 网络连接通信(connet) , 一个负责监听(listener) .

通过 connet 线程将注册的监听事件发送给 Zookeeper.

在 Zookeeper 的注册监听器列表中将注册的监听事件添加到列表中 .

Zookeeper 监听到有数据或路径变化,就会将这个消息发送到 listener 线程 .

listener 线程内部调用了 process() 方法 .

Zookeeper的集群搭建

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zwzzzg.html