分享

请问如何对标进行全表合并处理?

evababy 2018-10-26 10:10:12 发表于 方案探讨 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 4 6074
现有表 按照 org.apache.hadoop.hbase.regionserver.ConstantSizeRegionSplitPolicy 策略分割,基本保障每块不大于 SIZE,因数据量持续增长,需要增加SIZE,但是几百个regions要怎么合并?
两两合并太痛苦了,有什么办法可以很方便的刷一遍表? 想到的笨办法 创新表 把数据导出导入,还有比这个办法好的吗? 谢谢

已有(4)人评论

跳转到指定楼层
evababy 发表于 2018-10-26 11:33:12
导入导出、复制表两种方式速度太慢了,尝试用spark操作hfile看看效果吧!
回复

使用道具 举报

s060403072 发表于 2018-10-26 12:01:24
evababy 发表于 2018-10-26 11:33
导入导出、复制表两种方式速度太慢了,尝试用spark操作hfile看看效果吧!

试试下面的方法:
hbase hbck ssp_rt -fixHdfsOverlaps -maxMerge 100 -fixMeta -fixAssignments
这个命令会合并hbase metadata中overlap的region并且删除hdfs上相应的文件

来自:
hbase合并region
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21188


回复

使用道具 举报

evababy 发表于 2018-10-26 14:06:15
s060403072 发表于 2018-10-26 12:01
试试下面的方法:
hbase hbck ssp_rt -fixHdfsOverlaps -maxMerge 100 -fixMeta -fixAssignments
这个 ...

多谢,太高深了,等回头在测试环境上测试下再说。

简单暴力的方法 用spark读写hfile  效率很高,速度可以接受
回复

使用道具 举报

louislau318 发表于 2018-10-29 10:28:38
借用hbase client,自己写一个程序,进行合并就好了
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条