分享

hbase 压缩!

linjikai8888 发表于 2015-12-24 15:39:52 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 4 8618
近期由于开始资源申请的存储不是很多,后面申请了几台数据节点,但目前还没批下来。

我看hbase是可以进行压缩空间的,想动手先把空间压一压。

想请教各位,hbase压缩有几种方式,在不影响查询效率下,最好用哪一种压缩方式较好。

求教!

已有(4)人评论

跳转到指定楼层
arsenduan 发表于 2015-12-24 16:11:50
Snappy的方式还不错。推荐,当然楼主可以找找适合自己的方式,下面希望对楼主有所帮助
Hadoop压缩解压-SNAPPY算法介绍
http://www.aboutyun.com/thread-6197-1-1.html


HBase修改压缩格式及Snappy压缩实测分享
http://www.aboutyun.com/thread-9475-1-1.html



其它:
HBase实战:压缩与编码技术
http://www.aboutyun.com/thread-11604-1-1.html


开启hadoop和Hbase集群的lzo压缩功能
http://www.aboutyun.com/thread-8349-1-1.html


hbase 压缩源码分析
http://www.aboutyun.com/thread-7032-1-1.html



回复

使用道具 举报

linjikai8888 发表于 2015-12-25 11:35:11
arsenduan 发表于 2015-12-24 16:11
Snappy的方式还不错。推荐,当然楼主可以找找适合自己的方式,下面希望对楼主有所帮助
Hadoop压缩解压-SNA ...

非常感谢!~
回复

使用道具 举报

linjikai8888 发表于 2015-12-28 16:51:13
arsenduan 发表于 2015-12-24 16:11
Snappy的方式还不错。推荐,当然楼主可以找找适合自己的方式,下面希望对楼主有所帮助
Hadoop压缩解压-SNA ...

你好! 今天看了你介绍的文章。

我想请教你几个问题:
1.我用一台可以联网的服务器,先装好snappy了。
我的想法是想将/usr/loal/lib下的libsnappy文件直接拷贝到 正式服务器(没法联网)上直接使用,跳过安装snappy的过程。
小弟对linux不在行,不知是否可行?

2.我只想给hbase提供snappy压缩方式,需要对hadoop做设置吗?应该是不用的吧!
我看hadoop配置的也都是设置mapreduce计算的时候启用这种方法。

还请兄弟解惑!~
回复

使用道具 举报

goldtimes 发表于 2015-12-30 14:07:36
linjikai8888 发表于 2015-12-28 16:51
你好! 今天看了你介绍的文章。

我想请教你几个问题:

两个都需要配置的。
这里有篇
Hadoop HBase 配置 安装 Snappy 详细教程
http://www.aboutyun.com/thread-6198-1-1.html
讲的还算详细
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条