分享

hbase内存溢出的问题。

ld512870 发表于 2015-4-22 21:04:11 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 4 54636
        使用hbase入库,遇到了问题,入库的时候,会出现warn:too many storefile...然后过会就出现toobusyException, memstore > blocking mem....就是大于我们设置的内存。我调整参数,增大了memstore的大小,以及slot数,以及保留的stores数量,以及等待时间。。可是还是会出现这种情况。。这是为什么啊?用那么多mapreduce任务线程入库的时候也没有发现这种情况,为什么单独入库的时候还会这样?还有就是我有三个regionserver,但是入库的时候只是一个reginserver的cpu很高400%,然后其他两个0.。这个应该是因为没有预先创建region分区的原因。。还有就是我用的cloudera manager监控的集群,总是警告说使用了交换区。。。我的swapness也设置成0了。怎么会出现使用交换区的情况呢?还有十几G的内存可以用啊。这个怎么整?

已有(4)人评论

跳转到指定楼层
hyj 发表于 2015-4-22 21:43:28
提示: 作者被禁止或删除 内容自动屏蔽
回复

使用道具 举报

hyj 发表于 2015-4-22 21:41:26
提示: 作者被禁止或删除 内容自动屏蔽
回复

使用道具 举报

NIITYZU 发表于 2015-4-23 09:09:01
hyj 发表于 2015-4-22 21:43
下面是一些相关代码,希望对楼主有所帮助
API 操作:

很强大,谢谢分享
回复

使用道具 举报

ld512870 发表于 2015-4-24 10:18:28
hyj 发表于 2015-4-22 21:41
swapness是不是设置后,重启又恢复了
至于hbase,相信楼主已经知道问题的答案了,剩下的就是去试试了。尽 ...

谢谢版主了。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条