分享

hbase region导致磁盘Io过高,CPU 使用率过高,如何解决

cloudcat 发表于 2017-3-8 09:46:48 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 12 38901
evababy 发表于 2017-3-9 09:28:39
本帖最后由 evababy 于 2017-3-9 09:29 编辑

分裂策略hbase.regionserver.region.split.policy有几种,要研究测试
我用org.apache.hadoop.hbase.regionserver.ConstantSizeRegionSplitPolicy

还可以通过hbase.regionserver.regionSplitLimit来限定最大分裂数量

调整了hbase.hregion.max.filesize后冒失不会对历史进行合并或分裂

回复

使用道具 举报

cloudcat 发表于 2017-3-9 09:42:52
evababy 发表于 2017-3-9 09:28
分裂策略hbase.regionserver.region.split.policy有几种,要研究测试
我用org.apache.hadoop.hbase.region ...

恩,谢谢您的回答,看这样我现在的region太多。只能先把数据导出来,然后把hbase.hregion.max.filesize设置更大一点。然后重新录入数据,这样应该能解决吧?
回复

使用道具 举报

evababy 发表于 2017-3-9 09:53:45
cloudcat 发表于 2017-3-9 09:42
恩,谢谢您的回答,看这样我现在的region太多。只能先把数据导出来,然后把hbase.hregion.max.filesize设 ...

可以解决,只不过数据量大了很麻烦,我曾经用过另外一个笨办法,读取控制台的region信息,然后拼接执行语句,我觉得可能有更好的语句来解决这个问题,但是目前没找到
回复

使用道具 举报

12
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条