Hive中reduce输出大文件的处理

问题1:hive表对应的数据含有很多空文件或者很多较大文件

原因：最本质原因是数据倾斜导致分配到reduce的数据量差别所致，这些空文件会占据namenode的内存，也会影响map的数目。

解决方案1: 在Hadoop本身OutputFormat的接口中org.apache.hadoop.mapreduce.lib.output.LazyOutputFormat倒可以在hadoop层面解决，

因为reduce是先建立数据文件，然后把数据append进去，但是LazyOutputFormat做了次修改，如果判断无数据输出，则此数据文件

就不再建立了。目前hive的输出格式统一为org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat，尚未实现lazy的功能，增加

增加接口代码

解决方案2：使用合并小文件的操作

set hive.merge.mapredfiles=true;（默认为false）

set hive.merge.size.per.task=256*1000*1000;(这个也是默认值)

这个是要求在reduce端进行小文件合并的操作（如果多个文件小于256M的情况下），这需要额外增加一个job来完成这个事情;除此之外，

还可以在map端启用小文件的合并，通过参数set hive.merge.mapfiles=true;来设置

问题2:机器io开销很大，但是机器的cpu开销较小，另外map输出文件也较大，怎么办？

解决办法：通过设置map的中间输出进行压缩就可以了，这个不会影响最终reduce的输出，如下是设置使用gzip来进行压缩

set mapred.output.compress=true;

set hive.exec.compress.output=true;

set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;

set io.compression.codecs=org.apache.hadoop.io.compress.GzipCodec;