对于稳定维护hbase,全面掌握分布式系统中的每一台主机状况,以及检测系统可能或正在出现的瓶颈,强大的监控是必须的。
比如:
region数、block住的内存大小、请求数、命中率、flush/split/compact次数和时间、读写响应时间分布、storefile数目、jvm状况、
本文介绍将hbase监控加入ganglia中
hbase本身集成了jmx进行数据采集,这也是沿用hadoop的机制。
配置还是比较简单的,参考
http://hbase.apache.org/metrics.html,要点:
- 拷贝hbase/conf/hadoop-metrics.properties到你定义的配置文件夹
- 选择其中的hbase.class/rpc.class/jvm.class修改为org.apache.hadoop.metrics.ganglia.GangliaContext31
- hbase.servers=GMETADHOST_IP:8649,其中这里的GMETADHOST_IP为gmond.conf中的mcast_join值
- 重启hbase,会看到在ganglia监控画面中增加了很多图表
当然,如果愿意,顺便打开hadoop的这个功能也挺不错的。
hbase增加的监控信息非常全面,远远超过hadoop所增加的监控信息。如果还想自定义,请参照
http://hadoop.apache.org/common/docs/current/api/org/apache/hadoop/metrics/package-summary.html来添加自己想看到的信息
- 大小: 174.7 KB
- 大小: 185 KB
分享到:
相关推荐
关于HBase集群监控在java代码中的实现操作,供大家参考
Zabbix监控Hbase集群时用到的文件,可配合本人写的文章进行部署。
3. HBase: 作为分布式的 NoSQL 数据库,需要监控 HBase 集群的运行状态、Region 分布、读写性能等。 4. ZooKeeper: 作为分布式协调服务,需要监控 ZooKeeper 集群的运行状态、连接情况和数据一致性。 5. Kettle: ...
【大数据技术主题论坛】奇虎360技术经理赵健博介绍目前360搜索、安全、监控等业务都使用了HBase集群,同时重点介绍了奇虎360近一年来结合业务对HBase作出的改进,如针对集群大、Region多致使启动时间过长进行的优化...
《HBase管理指南》是一部实用性很强的操作指南,主要介绍如何建立一个完全分布式的HBase集群并将数据转移到该集群中,以及如何使用各种工具来完成日常的管理工作,有效管理和监控集群以使其达到最佳的性能,最终还将...
课时6:使用Ganglia监控HBase 课时7:过滤器实战之比较过滤器 课时8:过滤器实战之专用过滤器与FilterList 课时9:过滤器实战之自定义过滤器 课时10:Observer协处理器实战之Master级别原理剖析 课时11:Observer协...
HBaseManager功能列表 namespace管理:包括... HQL: 以SQL的方式读写HBase集群中的数据 请求热点监控:集成hbase-hbtop的功能,图表展示RegionServer/Region/namespace/table的实时请求量 更多功能:......
1搭建HBASE集群并进行监控 问题 依次完成以下2个小题的任务: 1) 搭建Hbase分布式集群,要求一个Master、三个RegionServer,使用Hbase自带的Zookeeper 2) 安装后启动查看监控页面
实战开发通过jmx获取HBase运行时数据,监控集群状态 5-1 HBase备份与恢复 5-2 HBase监控简介 5-3 Hadoop JMX监控实战 5-4 HBase JMX监控实战 第6章 Phoenix & Sqoop 对HBase业务应用过程中常用到的第三方开源工具...
同样Hadoop集群的稳定性需要得到实时的监控。存储资源、计算资源、网络资源等发生阻塞或者错误需要及时告知集群管理员。本文实现了基于HBase的网站告警系统。 本文中所开发的系统分为告警记录显示、告警记录查询、告...
Hannibal是帮助监视和维护配置为手动拆分的HBase集群的工具。 虽然HBase提供了通过JMX或Ganglia监视整个群集运行状况的指标,但它缺乏以简单的方式监视单个区域的能力。 当群集配置为手动拆分时,尤其是当数据增长不...
查看表监控概览登录 EMR 控制台,单击左侧【组件管理】选择集群,在组件名称下选择 【HBase】或 HBase 右侧角色管理进入【表级监控】。详情页可按整个表
ganglia 集群监控 ganglia依赖包 附带监控脚本 安装文档说明
实战维度,不仅通过3个典型的应用案例详细讲解了如何使用HBase设计大型的数据应用系统,而且还结合实际生产系统讲解了HBase的集群运维、监控和性能调优;理论维度,则深入分析了HBase、框架设计、模式设计和基本原理...
实战维度,不仅通过3个典型的应用案例详细讲解了如何使用HBase设计大型的数据应用系统,而且还结合实际生产系统讲解了HBase的集群运维、监控和性能调优;理论维度,则深入分析了HBase、框架设计、模式设计和基本原理...
这款软件具有集群自动化安装、中心化管理、集群监控、报警等功能,使得安装集群从几天的时间缩短在几小时以内,运维人员从数十人降低到几人以内,极大地提高集群管理的效率。 本章首先对Ambari做简单介绍,然后详细...
HBase的安装,与MapReduce集成,架构,集群监控,性能优化,集群管理。
开源监控系统OpenTSDB,用hbase存储所有的时序(无须 采样)来构建一个分布式、可伸缩的时间序列数据库。它支持秒级数据采集所有metrics,支持永久存储,可以做容量规划,并很容易的接入到现有的报警系 统里。...