如何hbase如何预先划分region

解决热块问题，可以使用代码来递增rowkey 。
但是我想问下，这样会不会导致region分配的过多，导致.mata表压力过大。

还有一个问题就是怎么预先划分region呢？

bioger_hit · 发表于 2014-11-19 11:39:35

解决热点问题，方法很多，region分配的过多、region分配的过多不知道楼主是如何考虑的，
如何去进行预分区，可以采用下面三步：
1.取样，先随机生成一定数量的rowkey,将取样数据按升序排序放到一个集合里
2.根据预分区的region个数，对整个集合平均分割，即是相关的splitKeys.
3.HBaseAdmin.createTable(HTableDescriptor tableDescriptor,byte[][] splitkeys)可以指定预分区的splitKey，即是指定region间的rowkey临界值.

详细参考
HBase Rowkey的散列与预分区设计

李新魁 · 发表于 2014-11-19 11:46:29

bioger_hit 发表于 2014-11-19 11:39
解决热点问题，方法很多，region分配的过多、region分配的过多不知道楼主是如何考虑的，
如何去进行预分 ...

谢谢，发现这个论坛很难搜到我想要的。

admin · 发表于 2014-11-19 12:21:26

李新魁发表于 2014-11-19 11:46
谢谢，发现这个论坛很难搜到我想要的。

推荐使用这个搜索
http://search.aboutyun.com/

nextuser · 发表于 2018-4-9 18:29:43

如果已经创建好，数据已经填充。这个在修改分区，基本不可能了。重新建表，然后将旧表数据导入。
当然你也可以尝试下面方法：
1.修改hbase.hregion.max.filesize的大小，然后采用负载均衡
2.增多预分区，也就是创建表后，在采用预分区的方式，看能否创建成功。
这是个人想出来的办法。如果不死心，可以试试。

参考这个帖子Hbase 分区问题
http://www.aboutyun.com/forum.php?mod=viewthread&tid=13033

pig2 · 发表于 2018-4-9 19:17:08

HBase-1.2版本以后，增加功能Normalizer，可以通过编程或则hbase shell的方式，合并小的region。
shell的方式如下
[mw_shl_code=bash,true]hbase(main):001:0> normalizer_enabled
true
0 row(s) in 0.4870 seconds

hbase(main):002:0> normalizer_switch false
true
0 row(s) in 0.0640 seconds

hbase(main):003:0> normalizer_enabled
false
0 row(s) in 0.0120 seconds

hbase(main):004:0> normalizer_switch true
false
0 row(s) in 0.0200 seconds

hbase(main):005:0> normalizer_enabled
true
0 row(s) in 0.0090 seconds[/mw_shl_code]

相关api

https://hbase.apache.org/devapid ... gionNormalizer.html