CDH4 Scanner lease expired 错误

[b][/b]运行基于HBASE的时间较长的M/R任务时,Region Server报错如下:

早上4点01:46.222INFOorg.apache.hadoop.hbase.regionserver.HRegionServerScanner-1644657804377547036leaseexpired

网上有帖子说是因为scanner没有关闭导致(http://grokbase.com/t/cloudera/cdh-user/125xhtpx8v/lease-exception-readandprocess-scanner-lease-expired-errors),在代码中加入关闭,等待结果。

暂时没有起作用。

重MAP任务下,4G内存的机器没有运行map/reduce任务,但其Region Server全部死掉,证明两方面问题:

1. map任务占用内存较大

2. hbase占用的内存较大,当设置的heap size(默认为1G)太小时可能导致region server死掉

解决办法只有更换内存更大的机器。CPU性能对集群性能的影响未知。

map同时写todo和visited表时32G内存的机器也死了。。。

IO的消耗非常之大。

相关推荐