Hadoop中MapReduce的一些关键词理解

 Map-Reduce几个输入格式的理解：

1 当执行hadoop任务的时候FileInputFormat会得到一个文件夹的路径（需要分析的文件在这个路径中，hadoop默认不会读取子目录）

2 把这些文件进行分片（input split），分片的个数决定Map执行对象的个数，Map越多消耗资源越多

（文件越大，速度越快原因：hdfs有个默认的块大小，一个文件小于默认值，则分为一片如果，文件大小大于默认值，根据块大小进行分块）

3 setInputFormat 设定输入文件内容的分隔格式。

4 几种文件内容格式分隔

二 、几个关键字的理解

 1 输入块（inputSplit）： 即2中提到的分片 ，它决定了执行速度

 2 记录读取器（RecordReader）：定义了如何加载数据，并把数据转换为Mapper能够使用的key/value值，它会根据FileInputFormat将数据进行分隔然后传到Map中

 3 Mapper ：每个Mapper实例在单独的进程中执行并初始化，不同map之间不能通信，使得mapper不受其他maper任务影响。

 4 combiner :将相同的key进行合并，value整合成集合，传送给reduce 

 5 partition& shuffle 

   shuffle: 将map数据输出到reduce的过程

    partition：是reduce的输入分片，相同的key包含一个集合的值，这个key和value在什么位置是有这个决定的，默认的分类器是基于哈希的

 6 排序和规约（还不知道具体作用）

 7 输出：

  part-nnnnn，nnnnn是关联到某个reduce任务的partition的id 

  7 Hadoop提供了一些OutputFormat实例用于写入文件，基本的（默认的）实例是TextOutputFormat，它会以一行一个键值对的方式把数据写入一个文本文件里。这样后面的MapReduce任务就可以通过KeyValueInputFormat类简单的重新读取所需的输入数据了，而且也适合于人的阅读。还有一个更适合于在MapReduce作业间使用的中间格式，那就是SequenceFileOutputFormat，它可以快速的序列化任意的数据类型到文件中，而对应SequenceFileInputFormat则会把文件反序列化为相同的类型并提交为下一个Mapper的输入数据，方式和前一个Reducer的生成方式一样。NullOutputFormat不会生成输出文件并丢弃任何通过OutputCollector传递给它的键值对，如果你在要reduce()方法中显式的写你自己的输出文件并且不想Hadoop框架输出额外的空输出文件，那这个类是很有用的。

RecordWriter：这个跟InputFormat中通过RecordReader读取单个记录的实现很相似，OutputFormat类是RecordWriter对象的工厂方法，用来把单个的记录写到文件中，就像是OuputFormat直接写入的一样。

Reducer输出的文件会留在HDFS上供你的其它应用使用，比如另外一个MapReduce作业，或一个给人工检查的单独程序。