Hadoop中使用 Gzip 压缩格式支持笔记(2)

        因此我们可以看到，在hadoop中使用gzip压缩来进行读取，中间结果，数据结果的保存都是非常的容易，因为hadoop native本身就提供了我们相应的类来解析和压缩数据。不过这里要特别提到的是：gzip压缩格式在hadoop中的支持有一定的局限性：  由于gzip压缩算法本身的原因，我们无法对gzip压缩文件进行分块，也就是说，在hadoop中，如果想要用hadoop 的mapreduce来处理数据，没一个mapper就必须对应一个gz文件，不能多个mapper对一个gzip文件的多个chunk进行并行的处理，因此如果要在hadoop mapreduce任务中使用gzip，在数据处理之前就需要对数据进行认为的切分，让一个mapper来处理一块数据。这样其实有一点有违 mapreduce的本质。