分享

怎么提高hbase压缩数据的速度

邓立辉 发表于 2016-5-17 12:00:40 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 8479
我在hbase上造了百亿的数据,可能由于插入的速度太快,当插够百亿数据后,hbase这三四天一直在做压缩,而且看样子一时半会儿还压缩不完,找了找hbase好像没有什么参数可以调高压缩的速度。怎么才能提高压缩速度,我看磁盘io和cpu都还很空闲。
ps:目前已经停止插入数据了。我看表的压缩格式lz4.

已有(2)人评论

跳转到指定楼层
muyannian 发表于 2016-5-17 12:34:29
楼主尝试通过程序压缩试试,把columns合并
参考
http://blog.csdn.net/chenyi8888/article/details/16841119



回复

使用道具 举报

邓立辉 发表于 2016-5-17 17:03:20
muyannian 发表于 2016-5-17 12:34
楼主尝试通过程序压缩试试,把columns合并
参考
http://blog.csdn.net/chenyi8888/article/details/16841 ...

怎么用程序压缩,参考的文章里也没有说明。我现在只想让他快点压缩完,而且我有20T的硬盘,这几天压缩导致硬盘都满了好几次,现在我给扩到24T了。硬盘还在涨(这几天没有任何数据插入)。按理说压缩的时候整体应该是个下降的趋势,这几天磁盘占用空间越来越大。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条