hadoop IO操作
目录
io操作中的数据检查
数据的压缩
数据IO中的序列化操作
针对mapreduce的文件类
一. io操作中的数据检查
hadoop采用CRC-32（Cyclic Redundancy check ---循环冗余校验，其中的32指生成的校验和是32位的）的方式检验数据完整性，这是一种非常常见的校验和验证方式，检错能力强，开销小，易于实现。
主要体现在两个方面的数据完整性校验 本地和hdfs.
1.1 对本地文件的io检查
本地文件系统的完整性由客户端检查，是在存储和读取的时候检查。
1.2 对hdfs的io数据检查
1.3 数据恢复策略
二.数据的压缩
mapreduce程序指定压缩的方式（其他代码和wordcount一样）
三. 数据IO中的序列化操作