CDH4 Scanner lease expired 错误
[b][/b]运行基于HBASE的时间较长的M/R任务时,Region Server报错如下:
早上4点01:46.222INFOorg.apache.hadoop.hbase.regionserver.HRegionServerScanner-1644657804377547036leaseexpired
网上有帖子说是因为scanner没有关闭导致(http://grokbase.com/t/cloudera/cdh-user/125xhtpx8v/lease-exception-readandprocess-scanner-lease-expired-errors),在代码中加入关闭,等待结果。
暂时没有起作用。重MAP任务下,4G内存的机器没有运行map/reduce任务,但其Region Server全部死掉,证明两方面问题:
1. map任务占用内存较大
2. hbase占用的内存较大,当设置的heap size(默认为1G)太小时可能导致region server死掉
解决办法只有更换内存更大的机器。CPU性能对集群性能的影响未知。
map同时写todo和visited表时32G内存的机器也死了。。。
IO的消耗非常之大。
相关推荐
晨曦之星 2020-08-14
lwb 2020-07-26
eternityzzy 2020-07-19
大而话之BigData 2020-06-16
ITwangnengjie 2020-06-14
gengwx00 2020-06-11
大而话之BigData 2020-06-10
鲸鱼写程序 2020-06-08
needyit 2020-06-04
strongyoung 2020-06-04
WeiHHH 2020-05-30
ITwangnengjie 2020-05-09
gengwx00 2020-05-08
gengwx00 2020-05-09
大而话之BigData 2020-05-06
Buerzhu 2020-05-01
gengwx00 2020-04-30