spark数据压缩

（一）压缩

1）压缩的好处和坏处

压缩的优点：以减少磁盘IO、减少磁盘存储空间。

压缩的缺点：增加CPU开销。

2）压缩原则

（1）运算密集型的Job，少用压缩

（2）IO密集型的Job，多用压缩

（二）MR支持的压缩编码

1）压缩算法对比介绍

2）压缩性能的比

（三）压缩方式选择

压缩方式选择时重点考虑：压缩/解压缩速度、压缩率（压缩后存储大小）、压缩后是否可以支持切片。

Gzip压缩

优点：压缩率比较高； 

缺点：不支持Split；压缩/解压速度一般；

Bzip2压缩

优点：压缩率高；支持Split； 

缺点：压缩/解压速度慢。

Lzo压缩

优点：压缩/解压速度比较快；支持Split；

缺点：压缩率一般；想支持切片需要额外创建索引。

Snappy压缩

优点：压缩和解压缩速度快； 

缺点：不支持Split；压缩率一般； 

压缩位置选择压缩可以在MapReduce作用的任意阶段启用。

四）压缩参数配置

1）为了支持多种压缩/解压缩算法，Hadoop引入了编码/解码器