上一篇介绍了bookkeeper的安装与测试。这一篇介绍一下bookkeeper的结构与原理。
这是官网给出的bookkeeper结构:
bookie就是bookkeeper中的节点,ledger则是log file。由于bookkeeper允许数据复制以保障数据的安全,因此会有一组bookie存放相同的ledger,这称为一组quorum。client的写请求是完全并发向这一组quorum中的bookie发起的。
client先要声明一个或多个ledgerhandler来发起写请求,可以为每个ledgerhandler指定要从多少个bookie中选择写到多少台bookie上。比如
bk.createLedger(3,2,DigestType.MAC, new byte[] {'a', 'b'})
意思是从3台固定的bookie中按roundrobin方法挑选2台服务器,分别存放数据的一个副本。这里的roundrobin就是取模循环。同时,ledgerhandler会在zk上创建一个node,用来存放它自己所选取的3台server的名字。这样在分布式环境下,或者在恢复数据的时候,就能知道数据在哪些服务器上了,解决了数据路由的问题
当发起写请求时,client提供一个id,然后先将数据路由到对应的服务器上,在该服务器上先追加到log中,然后内存中记录一下,就返回给client。如果是用异步调用的方法,client可以通过回调函数及id来确定数据是否写成功。由于write ahead log是顺序写,所以速度很快。同时,server端会定期将内存中的数据flush到磁盘(默认100ms)。这个过程中会生成索引,索引是以id的ascii码来排序建立两级目录,在二级目录下存放相应数据对应的数据文件中的offset。读请求会通过该id获取索引目录,从而获取数据的offset,来读到相应的数据。
当一台server挂掉时,如果replication为2,那么client会在第一次读失效时,自动路由到它的备机去读取数据。因此bookkeeper有一定的故障恢复保障。提高replica因子,数据安全性就随之提高了。恢复数据会根据sequenceId从log中恢复到data中,这一点和大多数系统,比如hbase都是类似的。
- 大小: 26.2 KB
分享到:
相关推荐
Apache BookKeeper High-performance reliable write-ahead logging.介绍了hadoop zookeeper的高可用性能。读写的效率等内容。
学习hadoop时,需要用到bookkeeper这个例子,大家可以下载源来学习和参考。
调试Hadoop源码,查看Hadoop源码必不可少的jar包
大数据存储及分层实践-1-4 BookKeeper:Apache Pulsar的存储实现
Java Spring Boot的Bookkeeper应用程序 欢迎使用Bookkeeper-使用此应用程序,您可以帮助我们建立起庞大的书籍,作者,体裁和出版商数据库! 所有信息均可通过下面列出的GET端点公开获得。 要为数据库做出贡献,并...
BookKeeper是可靠的复制日志服务。 它可用于将任何独立服务转变为高可用性的复制服务。 BookKeeper具有高可用性(无单点故障),并随着添加更多存储节点而水平扩展。bookkeeper/bookkeeper-4.13.0
Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性...
个人或者企业都适用的桌面记账软件,灵活易用,可以通过设置配置满足大多数的应用要求,霏凡已有更新版本!!!!,霏凡已有更新版本!!!!,霏凡已有更新版本!!!!
BookKeeper(BK)启动流程 文章目录BookKeeper(BK)启动流程解析命令行参数构建bookie所需的服务构建状态(指标)服务构建BookieService构造内存分配器构造NettyServer构建Bookie BK的启动入口类是Main,Main有一个...
资源来自pypi官网。 资源全名:Bookkeeper-0.0.2.tar.gz
为了高效的顺序写入,较好的容错性和可扩展性,设计了BookKeeper。它的结构由他们组成:Bookie(存储节点),Ledger(日志文档),Ensemble(用一组Bookie存储Ledger)。