近段时间,因项目需要接触了下zookeeper,通过阅读源码以及项目中的使用总结,慢慢的积累了zookeeper的一系列的学习总结。
希望对大家使用zookeeper有所帮助,同时如有描述欠佳的地方尽情拍砖。
zookeeper是什么?
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。
目前zookeeper被应用于hadoop/hbase中进行节点的管理,通过zookeeper你可以很方便的开发出一些分布式控制的工具,比如分布式lock, barrier,countDown , Semaphore等,甚至有人使用zookeeper开发了一个分布式Collections。
我项目中使用的情况:
主要是用于解决数据库的数据同步, 通过过程的E.T.L工作节点均使用集群化处理,整个集群的调度通过zookeeper进行管理,比如同步流程的启动,关闭,挂起等,有点带流式计算的味道。
几个技术点:
1. 分布式lock, 解决Load时为保证源库的事务变更顺序,需要做一个串行录入
2. 优先集群, 利用zookeeper的observer解决中美机房网络延迟的影响。美国部署observer,中国部署leader/follower
3. zookeeper watcher,ETL节点的流转通过node的watcher进行通知
文章列表:
分享到:
相关推荐
在Linux系统上进行tomcat安装&网络配置&zookeeper;&dubbo;管控台&maven;&JDK;安装
zookeeper学习用Demo,包含zookeeper的各种使用案例 zookeeper学习用Demo,包含zookeeper的各种使用案例
自己整理的ZooKeeper学习笔记,适合刚刚接触ZooKeeper的人学习
说明:里面有俩个压缩包 1.ZooInspector.zip zookeeper的可视化工具 2.zookeeper-3.4.12.tar.gz zookeeper的安装包,可以在windows和linux中使用,window中直接解压就行。
zookeeper学习笔记
如果在创建znode时Flag设置为EPHEMERAL,那么当创建这个znode的节点和Zookeeper失去连接后,这个znode将不再存在在Zookeeper里,Zookeeper使用Watcher察觉事件信息。当客户端接收到事件信息,比如连接超时、节点数据...
3天精通zookeeper视频详细讲解,需要的小伙伴自行百度网盘下载,链接见附件,永久有效。 课程内容: zookeeper简介 zookeeper数据模型 zookeeper单机安装 zookeeper常用shell命令 ...taokeeper监控工具的使用
ZooKeeper 客户端的使用(二).
ZooKeeper是一个高可用的分布式数据管理与系统协调框架。基于对Paxos 算法的实现,使该框架保证了分布式环境中数据的强一致性,也正是基于这样的特性,使得zookeeper 能够应用于很多场景。网上对zk的使用场景也有...
对于zookeeper 的机制原理有一个清晰翔实的梳理。
由于ZooKeeper的开源特性,后来我们的开发者在分布式锁的基础上,摸索了出了其他的使用方法:**配置维护、组服务、分布式消息队列**、**分布式通知/协调**等。ZooKeeper在实现这些服务时,首先它设计一种新的**数据...
java ZooKeeper学习笔记\ZooKeeper原理、运用
zookeeper 学习资料 中篇
zookeeper学习知识点, 脑图
自己学习zookeeper时的用过学习资料,很不全,但都是这么过来的。
Zookeeper学习笔记
zookeeper一站式学习资料包含国内首部Zookeeper从入门到精通+搜索引擎等一条龙学习资料以及视频讲解包含笔记代码资源
zookeeper学习视频
zookeeper基础进阶&分布式集群部署,xmind文件,包含zk基础知识,linux环境下分布式集群安装部署,以及进阶内容
本文适合但不限于软件开发人员阅读。本文档能够使阅读者对zookeeper有一个宏观且全面的了解,内容主要包含zookeeper架构、数据模型、读写及工作原理、典型应用场景、指令汇总等,