Hadoop 使用 MapReduce 排序 思路
本文主要讲对key的排序,主要利用Hadoop的机制进行排序。
1、Partition
partition作用是将map的结果分发到多个Reduce上。当然多个reduce才能体现分布式的优势。
2、思路
由于每个partition内部是有序的,所以只要保证各partition间有序,即可保证全部有序。
3、问题
有了思路,如何定义partition的边界,这是个问题。
解决办法:hadoop提供了一个采样器帮我们预估整个边界,以使数据的分配尽量平均
相关阅读:
相关推荐
tomli 2020-07-26
changjiang 2020-11-16
minerd 2020-10-28
WeiHHH 2020-09-23
Aleks 2020-08-19
WeiHHH 2020-08-17
飞鸿踏雪0 2020-07-26
deyu 2020-07-21
strongyoung 2020-07-19
eternityzzy 2020-07-19
Elmo 2020-07-19
飞鸿踏雪0 2020-07-09
飞鸿踏雪0 2020-07-04
xieting 2020-07-04
WeiHHH 2020-06-28
genshengxiao 2020-06-26
Hhanwen 2020-06-25