HIVE小文件合并
文件数目过多,增加namenode的压力,hdfs的压力,同时需要更多map进程,影响处理效率。
可以通过配置如下几个参数,合并Map和Reduce的结果文件,消除这些影响。
控制每个任务合并小文件后的文件大小(默认256000000):hive.merge.size.per.task
告诉Hadoop什么样的文件属于小文件(默认16000000):hive.merge.smallfiles.avgsize
是否合并Map的输出文件(默认true):hive.merge.mapfiles
是否合并Reduce的输出文件(默认false):hive.merge.mapredfiles
相关推荐
archive 2020-07-30
成长之路 2020-07-28
eternityzzy 2020-07-19
taisenki 2020-07-05
tugangkai 2020-07-05
SignalDu 2020-07-05
zlsdmx 2020-07-05
tomson 2020-07-05
tugangkai 2020-07-04
tomson 2020-07-05
Zhangdragonfly 2020-06-28
genshengxiao 2020-06-26
成长之路 2020-06-26
tomson 2020-06-26
蜗牛之窝 2020-06-26
成长之路 2020-06-25