分享

Hbase 分区问题

aqi915 发表于 2015-5-10 19:30:43 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 13 47520
现在碰到Hbase 只有一个分区( region),现在表里面有数据了,快100G了,可以增加分区,分布式存放在多个文件上么,并且数据不会影响到呢

已有(14)人评论

跳转到指定楼层
aqi915 发表于 2015-5-10 19:57:26
快快来几个给你回答哈
回复

使用道具 举报

linjikai8888 发表于 2015-5-10 20:20:22
不懂!帮忙顶一下吧
回复

使用道具 举报

mituan2008 发表于 2015-5-10 20:27:49
aqi915 发表于 2015-5-10 19:57
快快来几个给你回答哈

hbase一般在创建表的时候,可以预分区,如果没有预分区,hbase自己会分裂。

region的大小,可以通过配置项来控制如下面参数:
hbase.hregion.max.filesize
最大HStoreFile大小。若某个Column families的HStoreFile增长达到这个值,这个Hegion会被切割成两个。       Default: 256M.     
默认: 268435456

更多参数:
HBase 默认配置说明(收藏版)

回复

使用道具 举报

非鱼 发表于 2015-5-10 21:01:48
100G了只有一个region........
回复

使用道具 举报

aqi915 发表于 2015-5-10 21:32:30
mituan2008 发表于 2015-5-10 20:27
hbase一般在创建表的时候,可以预分区,如果没有预分区,hbase自己会分裂。

region的大小,可以通过配 ...


之前是没有预分区的
      1、对于你的方法也挺好用的,但有个疑问,假设现在有要求50G 一个分区,我去给这个配置文件(/hbase-site.xml)里设置值(hbase.hregion.max.filesize)最大为50G每个文件,对于之前那个文件有影响么,那个文件会怎么处理呢?看你刚写的默认是256M,现在都快100G了,应该有人改过。
      2、问下,一般多大比较好呢,对于读取速度数据,如果并行化总数为12个的话,机子为12台?

点评

如果不太清楚,默认即可,数据能否负载均衡,不产生热点读取的就会快  发表于 2015-5-11 03:38
回复

使用道具 举报

aqi915 发表于 2015-5-10 21:34:30
非鱼 发表于 2015-5-10 21:01
100G了只有一个region........

    不好意思,可能我的理解不同,应该就是前面地板说的预分区没有加的情况。
回复

使用道具 举报

mituan2008 发表于 2015-5-11 03:36:33
aqi915 发表于 2015-5-10 21:32
之前是没有预分区的
      1、对于你的方法也挺好用的,但有个疑问,假设现在有要求50G 一个分区,我 ...

之前的应该没有影响,影响的是后面的文件。修改完记得生效
回复

使用道具 举报

lanyangkj 发表于 2016-5-12 15:03:04
预分区能修改吗?比如说,我前期建的分区,后期发现明显不合理,如个别分区明显数据量小,等等。我想调整的话,怎么调整?
回复

使用道具 举报

heheidiot 发表于 2018-4-9 17:10:28
我也好想知道这个问题呀
回复

使用道具 举报

12下一页
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条