第七章 I/O操作
Hadoop中的I/O与传统I/O的区别:
1、传统I/O数据是集中存储的,在一台主机上,Hadoop I/O数据分布在多台主机上。
2、传统I/O数据量比较小,大多GB级,Hadoop I/O数据量经常PB级的
7.1 I/O操作的数据检查
通过校验和方式检查数据完整性,检验和不恩那个恢复数据,只能检测数据错误。
Hadoop采用CRC-32(检验和为32位)的方式检查数据完整性。
本地文件文件I/O的检查
当Hadoop创建一个文件,同时也会创建一个“文件名.src”的隐藏文件用来保存校验和。例如创建A文件同时也会创建一个A.src的文件用来保存校验和信息。每512byte Hadoop会生成一个32为的校验和(4byte)。这个值可以在
src/core/core-default.xml
文件中进行修改每个校验和所针对的文件大小
<property> <name>io.bytes.per.checksum</name> <value>512</value> <description>The number of bytes per checksum. Must not be larger than io.file.buffer.size.</description> </property>
校验和操作类为
org.apache.hadoop.fs.ChecksumFileSystem
继承结构如下,是FileSystem的子类
如果ChecksumFileSystem检测到错误会把源文件、校验和文件移到次级目录bad files中。
本地文件的数据完整性有客户端负责,Hadoop在存储和读取文件时进行校验和处理。
HDFS的I/O数据检查
HDFS会在三种情况下检查校验和
1)DataNode接受数据后存储数据前
DataNode一般在两种情况下接收数据:
用户从客户端上传数据
DataNode从其它DataNode上接收数据
2)客户端读取DataNode上的数据时
当客户端读取DataNode数据时,使用
org.apache.hadoop.hdfs.DFSClient
中的
/* FSInputChecker interface */ /* same interface as inputStream java.io.InputStream#read() * used by DFSInputStream#read() * This violates one rule when there is a checksum error: * "Read should not modify user buffer before successful read" * because it first reads the data to user buffer and then checks * the checksum. */ @Override public synchronized int read(byte[] buf, int off, int len) throws IOException { //for the first read, skip the extra bytes at the front. if (lastChunkLen < 0 && startOffset > firstChunkOffset && len > 0) { // Skip these bytes. But don't call this.skip()! int toSkip = (int)(startOffset - firstChunkOffset); if ( skipBuf == null ) { skipBuf = new byte[bytesPerChecksum]; } if ( super.read(skipBuf, 0, toSkip) != toSkip ) { // should never happen throw new IOException("Could not skip required number of bytes"); } }
函数,现将数据读入到客户端的数据缓冲区中,然后在检查校验和。
3)DataNode后台守护进程的定期检测
DataNode的后台进程会定期的检查DataNode上的所有数据块
数据恢复策略
P123
7.2 数据的压缩
Hadoop提供的压缩格式
如果需要处理Gzip压缩后的5GB数据,Hadoop本应按64MB为一个数据块进行分割为80份,但Hadoop不会分割压缩后的数据。但如果是bzip2数据,因为它支持分割,所以压缩数据可以分割存储。
在MapReduce程序中使用压缩,设置Map处理后的压缩数据程序如下
7.3 数据的I/O中序列化操作
序列化:将对象转化为字节流的方式
反序列化:将字节流转换为对象的方式
Writable是Hadoop序列化的核心接口
public interface Writable { /** * Serialize the fields of this object to <code>out</code>. * * @param out <code>DataOuput</code> to serialize this object into. * @throws IOException */ void write(DataOutput out) throws IOException; /** * Deserialize the fields of this object from <code>in</code>. * * <p>For efficiency, implementations should attempt to re-use storage in the * existing object where possible.</p> * * @param in <code>DataInput</code> to deseriablize this object from. * @throws IOException */ void readFields(DataInput in) throws IOException; }
Hadoop的比较器
WritableComparator是WritableComparable的比较器,它是RawComparator针对WritableComparable的通用实现,RawComparator继承自Comparator。
RawComparator中实现了对未反序列化数据的比较,这样可以不必创建对象,直接针对数据的字节流进行比较。
Writable类中的数据类型
7.4 对对MapReduce的文件类
P139 为完成