zhuqitian 发表于 2016-5-16 17:42:10

hdfs对历史文件压缩

以前老脚本中hive作业没有对压缩做设置，而且都是textfile存储格式，为了节约资源，要对历史文件做压缩，一时间没好的办法

bioger_hit 发表于 2016-5-16 19:23:19

压缩是比较成熟的技术，楼主可参考下面文章

HDFS支持数据压缩的几种方法探讨
http://www.aboutyun.com/forum.php?mod=viewthread&tid=4893


hdfs的透明压缩存储-百度
http://www.aboutyun.com/forum.php?mod=viewthread&tid=17890


讨论：HDFS Block压缩处理分析

http://www.aboutyun.com/forum.php?mod=viewthread&tid=4940




sstutu 发表于 2016-5-16 19:27:11

历史数据压缩，只能是再次处理，可以通过mapreduce
Hadoop（11）MapReduce 文件处理：基于压缩的高效存储（一）
http://www.aboutyun.com/forum.php?mod=viewthread&tid=15626


Hadoop（12）MapReduce 文件处理：基于压缩的高效存储（二）
http://www.aboutyun.com/forum.php?mod=viewthread&tid=15629



对于当前数据，也可以开启压缩功能，
开启hadoop和Hbase集群的lzo压缩功能
http://www.aboutyun.com/forum.php?mod=viewthread&tid=8349


一些压缩的实现
Hadoop的压缩算法实现和压缩算法选择
http://www.aboutyun.com/forum.php?mod=viewthread&tid=13576

hadoop深入研究:(九)---mapreduce中的压缩
http://www.aboutyun.com/forum.php?mod=viewthread&tid=7246



zhuqitian 发表于 2016-5-17 09:33:04

谢谢回复，读后很有帮助

zhuqitian 发表于 2016-5-17 09:35:49

bioger_hit 发表于 2016-5-16 19:23
压缩是比较成熟的技术，楼主可参考下面文章

HDFS支持数据压缩的几种方法探讨


刚开始在aboutyun上活动，经常出入有益健康
页: [1]
查看完整版本: hdfs对历史文件压缩