(第八章) Hive压缩和存储之Hadoop压缩配置

Hadoop压缩配置


8.2.1 MR支持的压缩编码

(第八章) Hive压缩和存储之Hadoop压缩配置
为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器,如下表所示:

(第八章) Hive压缩和存储之Hadoop压缩配置
压缩性能的比较:
(第八章) Hive压缩和存储之Hadoop压缩配置
http://google.github.io/snappy/
On a single core of a Core i7 processor in 64-bit mode, Snappy compresses at about 250 MB/sec or more and decompresses at about 500 MB/sec or more.

8.2.2 压缩参数配置

要在Hadoop中启用压缩,可以配置如下参数(mapred-site.xml文件中):
(第八章) Hive压缩和存储之Hadoop压缩配置
(第八章) Hive压缩和存储之Hadoop压缩配置