讨论：HDFS Block压缩处理分析

归纳下：
1 client 把原始数据分割成小雨64m，然后分别压缩，上传到hdfs。
2 读取：client把分块关系和压缩信息交给程序调用者，他爱解压就解压，不爱解压想cp也行。
可以这么理解吧

回复 12# alexanderdai
对于你说的第二点：解压可以由HDFS默默完成，也可以交给应用完成，默认应当选择HDFS默认完成。

噢，弄明白了，但是这个只能解决物理磁盘空间的压缩，还不能解决元数据的压缩。

本帖最后由 hadoopor 于 2009-11-25 18:06 编辑
回复 14# spork
元数据的和单点故障使用master组来解决，也就是会有一组NameNode。由于通过元数据是可以知道压缩前后两者大小的，所以对于跨block块的顺序读取和原来也是一样的，仍只是在读取之前增加了一个解压过程。