hadoop数据压缩的选择和比较
hadoop数据压缩的选择和比较
MR支持的压缩编码
为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器：
压缩性能的比较：
| 压缩算法 | 原始文件大小 | 压缩文件大小 | 压缩速度 | 解压速度 |
|---|---|---|---|---|
| gzip | 8.3GB | 1.8GB | 17.5MB/s | 58MB/s |
| bzip2 | 8.3GB | 1.1GB | 2.4MB/s | 9.5MB/s |
| LZO | 8.3GB | 2.9GB | 49.3MB/s | 74.6MB/s |
自我总结：
只有bzip2和LZO这两种压缩格式是支持切片的，其余的都不支持切片。另外LZO需要安装，其余的都不需要安装。bzip2是“慢工出细活（该压缩方式表示压缩率最高，但是压缩和解压缩的速度的最慢的）”，snappy是压缩和解压缩的速度最快的（250和500M），但是压缩率不高。
压缩方式的选择： 在map和reduce中的map输出多采用snappy的方式，因为该方式的压缩和解压缩的速度都是最快的，不需要考虑其是否能够切片，压缩比如何，最重要的是速度要快，因为在shuffle过程本就是耗费时间的过程，采用压缩的方式，需要让用户感觉到即实现了节省磁盘空间的特点又极小的拖慢shuffle的速度。
在reduce输出阶段：在该阶段很可能落盘的数据需要再次执行mapreduce，这个时候就需要考虑到切片问题了，于是我们在该阶段的压缩通常选择支持切片的LZO格式，即支持切片，同时比bzip2的压缩速度要快很多。