HBase跑 map/reduce 须关闭Speculative Execution
什么是SpeculativeExecution
所谓的推测执行,就是当所有task都开始运行之后,JobTracker会统计所有任务的平均进度,如果某个task所在的tasknode机器配置比较低或者CPUload很高(原因很多),导致任务执行比总体任务的平均执行要慢,此时JobTracker会启动一个新的任务(duplicatetask),原有任务和新任务哪个先执行完就把另外一个kill掉,这也是我们经常在JobTracker页面看到任务执行成功,但是总有些任务被kill,就是这个原因。
mapred.map.tasks.speculative.execution=true
mapred.reduce.tasks.speculative.execution=true
这两个是推测执行的配置项,它们默认值是true
然而在HBase中,这样做,会加重regionserver的load。
因为用Hadoopmap/reduce操作HBase的时候,会尽量采用本地原则,即相应的task尽量使用本地的数据。
而如果另起一个task,则会导致数据不在本地,凭空浪费IO和网络资源。
所以,强烈建议关闭SpeculativeExecution
关闭的方法是在jobconf中设定
相关推荐
晨曦之星 2020-08-14
lwb 2020-07-26
eternityzzy 2020-07-19
大而话之BigData 2020-06-16
ITwangnengjie 2020-06-14
gengwx00 2020-06-11
大而话之BigData 2020-06-10
鲸鱼写程序 2020-06-08
needyit 2020-06-04
strongyoung 2020-06-04
WeiHHH 2020-05-30
ITwangnengjie 2020-05-09
gengwx00 2020-05-08
gengwx00 2020-05-09
大而话之BigData 2020-05-06
Buerzhu 2020-05-01
gengwx00 2020-04-30