evababy 发表于 2018-10-26 10:10:12

请问如何对标进行全表合并处理？

现有表 按照 org.apache.hadoop.hbase.regionserver.ConstantSizeRegionSplitPolicy 策略分割，基本保障每块不大于 SIZE，因数据量持续增长，需要增加SIZE，但是几百个regions要怎么合并？
两两合并太痛苦了，有什么办法可以很方便的刷一遍表？ 想到的笨办法 创新表 把数据导出导入，还有比这个办法好的吗？ 谢谢

evababy 发表于 2018-10-26 11:33:12

导入导出、复制表两种方式速度太慢了，尝试用spark操作hfile看看效果吧！

s060403072 发表于 2018-10-26 12:01:24

evababy 发表于 2018-10-26 11:33
导入导出、复制表两种方式速度太慢了，尝试用spark操作hfile看看效果吧！

试试下面的方法：
hbase hbck ssp_rt -fixHdfsOverlaps -maxMerge 100 -fixMeta -fixAssignments
这个命令会合并hbase metadata中overlap的region并且删除hdfs上相应的文件

来自：
hbase合并region
http://www.aboutyun.com/forum.php?mod=viewthread&tid=21188


evababy 发表于 2018-10-26 14:06:15

s060403072 发表于 2018-10-26 12:01
试试下面的方法：
hbase hbck ssp_rt -fixHdfsOverlaps -maxMerge 100 -fixMeta -fixAssignments
这个 ...

多谢，太高深了，等回头在测试环境上测试下再说。

简单暴力的方法 用spark读写hfile效率很高，速度可以接受

louislau318 发表于 2018-10-29 10:28:38

借用hbase client，自己写一个程序，进行合并就好了
页: [1]
查看完整版本: 请问如何对标进行全表合并处理？