使用Hive 分析数据
当我们的数据量特别大的时候,我们可以用Hive统计数据。
Hive的好处是特别方便,编写程序的难度比较低。
输出文件作聚合的方法:
http://www.chinacloud.cn/show.aspx?id=3277&cid=12
Map端部分聚合:
并不是所有的聚合操作都需要在Reduce端完成,很多聚合操作都可以先在Map端进行部分聚合,最后在Reduce端得出最终结果。
基于Hash
参数包括:
- hive.map.aggr=true是否在Map端进行聚合,默认为True
- hive.groupby.mapaggr.checkinterval=100000在Map端进行聚合操作的条目数目
有数据倾斜的时候进行负载均衡
hive.groupby.skewindata=false
当选项设定为true,生成的查询计划会有两个MRJob。第一个MRJob中,Map的输出结果集合会随机分布到Reduce中,每个Reduce做部分聚合操作,并输出结果,这样处理的结果是相同的GroupByKey有可能被分发到不同的Reduce中,从而达到负载均衡的目的;第二个MRJob再根据预处理的数据结果按照GroupByKey分布到Reduce中(这个过程可以保证相同的GroupByKey被分布到同一个Reduce中),最后完成最终的聚合操作。
合并小文件
文件数目过多,会给HDFS带来压力,并且会影响处理效率,可以通过合并Map和Reduce的结果文件来消除这样的影响:
- hive.merge.mapfiles=true是否和并Map输出文件,默认为True
- hive.merge.mapredfiles=false是否合并Reduce输出文件,默认为False
- hive.merge.size.per.task=256*1000*1000合并文件的大小
相关推荐
archive 2020-07-30
成长之路 2020-07-28
eternityzzy 2020-07-19
taisenki 2020-07-05
tugangkai 2020-07-05
SignalDu 2020-07-05
zlsdmx 2020-07-05
tomson 2020-07-05
tugangkai 2020-07-04
tomson 2020-07-05
Zhangdragonfly 2020-06-28
genshengxiao 2020-06-26
成长之路 2020-06-26
tomson 2020-06-26
蜗牛之窝 2020-06-26
成长之路 2020-06-25