使用Ganglia监控Hadoop
Hadoop本身提供了很多监控工具的接口,如JMX、Nagios、Ganglia等。使用Ganglia监控hadoop,配置起来非常简单,只需要修改$HADOOP_HOME/conf/hadoop-metrics.properties文件,把相关的配置段修改为下面的示例:
# Configuration of the "dfs" context for ganglia # Pick one: Ganglia 3.0 (former) or Ganglia 3.1 (latter) # dfs.class=org.apache.hadoop.metrics.ganglia.GangliaContext dfs.class=org.apache.hadoop.metrics.ganglia.GangliaContext31 dfs.period=10 dfs.servers=192.168.9.45:8649 /*该地址为Ganglia监控服务器的地址 # Configuration of the "mapred" context for ganglia # Pick one: Ganglia 3.0 (former) or Ganglia 3.1 (latter) # mapred.class=org.apache.hadoop.metrics.ganglia.GangliaContext mapred.class=org.apache.hadoop.metrics.ganglia.GangliaContext31 mapred.period=10 mapred.servers=192.168.9.45:8649 # Configuration of the "jvm" context for ganglia jvm.class=org.apache.hadoop.metrics.ganglia.GangliaContext jvm.period=10 jvm.servers=192.168.9.45:8649
配置文件的其它部分保持默认。
把配置文件分发到各个datanode节点上,然后重启hadoop集群,就可以在Ganglia的监控页面中看到Hadoop各个节点的运行情况。
把配置文件分发到各个datanode节点上,然后重启hadoop集群,就可以在Ganglia的监控页面中看到Hadoop各个节点的运行情况。
注意:我的Hadoop版本为cloudera版,版本为hadoop-0.20.2-CDH3B4;不同的Hadoop版本,要修改的东西可能会不一样。
相关推荐
chumeng 2012-02-21
wanfuchun 2020-05-14
wangjunyi 2016-08-19
Ephemeroptera 2016-08-19
tryhl 2011-05-12
wanfuchun 2019-10-24
Beryl 2014-06-28
jacktangj 2011-11-13
wuxiaobingandbob 2011-06-24
风韵雪ForCSDN 2013-10-12
朝花amp夕拾 2011-03-04
wanfuchun 2015-08-28
vitasfly 2014-12-20
manquyuan00 2010-11-09
linkcloud 2013-01-10
youyou 2010-11-01
Beryl 2010-07-22
朝花amp夕拾 2012-08-30
wuxiaobingandbob 2010-03-22