Zookeeper简介(二)

二.ZK设计原理简述
1. Zk数据模型和层级namespace
    ZK的名称空间非常类似文件系统,名称为一系列的path,例如”/root/app/task”,ZK中每个node都是通过path来标识的。和文件系统不同的是,每个node可以有关联的data,字节点也是如此,这一点可以类比为文件系统允许path为file或者目录。ZK的设计是为了存储“协调”数据:状态信息,配置,位置信息等;所以每个节点的data都非常的小,b-kb范围。
    Znode维护着一个“状态结构”(stat structure),其中包括data/ACL变更的version和时间戳,用来校验协调数据的变更,每次znode数据变更,将会导致version号增加,每次获取数据时,version信息也会一同获取。
    znode中的data读写是原子性的,read获取znode中关联的所有数据,write采用replace的方式“写入”数据,每个node都有ACL(access control list)来限制操作。
    zk还有一种node为“临时节点“(ephemeral node),这种节点的生命周期和相应的session一致,session失效后,节点会被删除;临时节点,在很多设计中具有重要的意义。
2. Watches
    Zk提供了一种”watch“的机制,client可以在znode上设置(注册)watch。watch将会在znode节点变更时触发,当watch触发,client将会收到znode变更的数据消息。并且当client与server的链接失效后,client也会受到一个本地的通知。Watch机制为zookeeper客户端提供了一种”异步”以及callback方式数据获取,客户端可以针对自己感兴趣(手动注册的watch)或者系统事件作出相应操作.
1) 节点变更事件类型(Watcher.Event.EventType):

  • None:空事件类型,表示当前事件不是节点变更事件(极有可能是KeeperState事件)
  • NodeCreated :当注册的watcher所关注的节点被创建时
  • NodeDeleted :当注册的watcher所关注的节点被删除时
  • NodeDataChanged :当注册的watcher所关注的节点数据被update时
  • NodeChildrenChanged:当注册的watcher所关注的节点的子节点列表有变更时.

2) Server状态事件 (Watcher.Event.KeeperState):此类型事件为了告知client端,此时server端状态发生了何种变更

  •  Disconnected:当client端失去链接时,将会发出一个本地消息(此event非server端返回),接下来也极有可能会抛出异常(例如: ConnectionLossException, SessionExpiredException, SessionMovedException等..)
  • SyncConnected:client已经成功和ZK server建立连接,通常和Follower或者Leader建立连接.
  • AuthFailed:授权验证失败,比如建立连接时,链接重建或者session校验时.
  • ConnectedReadOnly:client和一个read-only server建立了链接.可能因为环境问题,导致当前client无法找到ZK 环境中的”Followers”或者客户端被允许连接到Observer类型的server上.
  • Expired:当前session已经过期,其数据已经被cluster移除;这种信息是非常致命的,可能是因为client端长时间离群,或者ZK 集群已经失效太久;一旦出现这个事件,唯一的办法就是new Zookeeper(…)

    Zk非常快速而且简单,这是它的目标,不过zk也提供了构建复杂服务的基础,例如同步,它提供了一些保证:

  1. 顺序一致性:数据的更新将按照client发送请求的顺序执行。
  2. 原子性:数据更新必须有确切的结果,成功或者失败。
  3. 一致性视图:无论client链接哪个server,它将获得一致的服务的视图(view)。
  4. 可靠性:一旦更新被执行,它将被持久存储。
  5. 实时性:在一定时间内,系统保证client的视图是实时的。


3. 简单API
    ZK的一个目标就是提供简单的API接口,如下就是其支持的操作:(请参考:org.apache.zookeeper.Zookeeper)

  1. create:新增节点: public String create(String path,byte[] data,List<ACL> acl,CreateMode mode),同步创建;public void create(String path,byte[] data,List<ACL> acl,CreateMode mode,StringCallback cb,Object ctx),使用callback方式.
  2. delete:删除节点
  3. exites:检测节点是否存在 –--支持Watcher
  4. getData:获取node上关联的数据    ----支持Watcher
  5. setData:重置node上关联的数据
  6. sync:同步操作,等待数据的传播

4. 实现(implementation):


Zookeeper简介(二)
  

     这种可”复制“的database(解释:我们成为replicas database,每个ZK Server都持有一个本地的全数据镜像数据库副本)以data tree的方式保存在内存中,更新操作首先被持久在log中以便恢复;write在应用在内存之前首先被存储在disk中。每个ZK server都能服务clients,client向其链接的server提交请求,对于read请求将会直接从本地”复制“的内存数据库中获取;对于更改服务状态的write请求,将会采用agreement protocal(ZK中采用二步提交方式)。agreement protocal将会把client提交的write请求转发给单一的server,即leader。对于其他的folower,接受leader的消息提议,同意其消息传输。消息层会关注leader失效时的交替以及folower和leader的数据同步。
    Zk使用自定义的原子性消息传播机制(ZAB),因为消息层是原子性的,ZK能够确保本地备份不会”偏离“;当leader接受到write请求后,在应用write操作时它会”计算“系统的状态,并以事务的方式更新状态。
    Zk本身并不是数据库,也不是为数据存储而生,所以znode上挂载的数据尽量的小,默认配置为1M,一般我们建议此数据应该尽量的小,因为存储太大的数据将会造成server的操作耗时(数据库在集群中传输时间较长,网络环境复杂也会增加数据传输出错的机会),带来请求响应延迟增大;如果你的应用需要ZK维护一些较大的数据,建议数据存储采用其他的文件系统(或数据库),ZK的node上只存储文件的引用位置。

5. Sequence Nodes
    对于普通的节点创建,我们指定path,这适合一般场景;不过,在创建节点时,你可以要求ZK为你在path的结尾追加一个自增的计数。此计数器对于其父节点而言是唯一的。计数器的格式为%010d—10个数字前缀用0来填充:000000001,其最大值为Integer.MAX_VALUE.

6. Zk的时间跟踪

  1. zid:事务ID,每个数据变更操作的请求,ZK Leader都会为其生成一个全局唯一的zid,zid也标识这请求变更的顺序,如果zid1 < zid2,则认为zid1在zid2之前发生。
  2. version number:对node的任何更新都将会导致其version增加,每个节点都有3种version: version(znode节点数据变更),cversion(子节点变更),aversion(此节点ACL变更)。
  3. Ticks:当使用多个zk server时,server需要使用ticks来声明事件的耗时,比如状态装载,session过期,peer间的链接超时等。
  4. real time:ZK不使用绝对时间,对于数据的变更使用了时间戳。


7. ZK stat 结构

  • czxid:node创建时的zxid。
  • mzxid:znode的数据最后更新的zxid
  • ctime:此节点创建时来自epoch的time毫秒数
  • mtime:znode最后更新的毫秒数,来自epoch
  • version:znode数据更新的版本号
  • cversion:znode的字节点变更的版本号
  • aversion:znode的ACL变更的版本号
  • ephemeralOwner:临时节点的session id,如果不是临时节点,将为0
  • dataLength:znode中挂载的数据的长度
  • numChildren:znode中子节点的个数

    ZK 数据结构,请参考:

    1) org.apache.zookeeper.server.DataNode; 数据的最小表示单元,每个path最终将会以DataNode来表示

    2) org.apache.zookeeper.server.DataTree; DataNode的维护关系,根据path层级关系将DataNode逻辑上存储为Tree

    3) org.apache.zookeeper.server.ZKDatabase: ZK本地数据库,存储了DataTree,ACL,Sessions列表,Wathers列表等.

    4) org.apache.zookeeper.server.SessionTracker.Session:客户端和server的链接信息

    5) org.apache.zookeeper.server.persistence.FileTxnLog: ZK server所接收到的变更操作,以日志方式存储

相关推荐