hadoop hdfs读写

hadoop hdfs读写

hdfs读取文件

1.FSDataInputStream，open创建输入流，建立与nameNode的连接

2.调用getBlockLoction获得hdfs文件的数据块位置

3.FSDataInputStream, read根据数据块位置，建立与datanode的连接，读取数据块

4.在读取到数据块末端的时候，关闭与datanode的连接

5.重复2,3,4，直到文件读取完成，调用close关闭nameNode的连接

hdfs写入文件

1.FSDataOutputStream，create创建输出流，创建于nameNode的连接，创建空文件

2.addBlock申请数据块，返回LocatedBlock对象（包括LocatedBlock.locs提供数据流管道），对dataNode建立连接

3.write方法，就数据写入，数据被分成文件包存在dfsoutputstream队列中，数据包，发送到管道

4.dataNode之间传送数据包，实例化到本地，心跳nameNode blockReport上报数据块信息，兵反向发送确认包

5.client端收到确认包，从队列中删除文件包

6.当数据写完，close关闭与datanode的连接，文件包都收到了确认包，就complete关闭namenode连接