分享

hbase增加Snappy压缩方式

linjikai8888 发表于 2015-12-30 09:33:34 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 7642

我想请教几个问题:

1.我用一台可以联网的服务器,也就是我本机的虚拟机,先装好snappy了。
我的想法是想将/usr/loal/lib下的libsnappy*文件直接拷贝到 正式服务器(没法联网)hadoop的native上直接使用,正是服务器就跳过安装snappy的过程了。
小弟对linux不在行,不知是否可行?

2.我只想给hbase提供snappy压缩方式,需要对hadoop做设置吗?应该是不用的吧!
我看hadoop配置的也都是设置mapreduce计算的时候启用这种方法。还请相关人士帮忙解惑~!不甚感激~

已有(2)人评论

跳转到指定楼层
goldtimes 发表于 2015-12-30 14:07:02
两个都需要配置的。
这里有篇
Hadoop HBase 配置 安装 Snappy 详细教程
http://www.aboutyun.com/thread-6198-1-1.html
讲的还算详细


回复

使用道具 举报

linjikai8888 发表于 2016-1-6 16:38:45
hbase 增加snappy压缩方式,昨天试了下,跟之前旧版本区别还是很大的。
像hadoop-snappy这些东西是不需要编译的。也不需要加入什么lib包。总之简单到爆炸!

我甚至怀疑 hadoop2.6.0和hbase1.0.0已经集成了snappy这个压缩方式。有可能不需要安装,改天我试下将上传的东西删掉,不更改配置,看snappy还可以奏效不!

之前没考虑到这个,所以我老实安装了snappy,并把snappy的相关lib文件都上传到集群的native目录下了。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条