分享

hbase hbase.hregion.max.filesize的问题

IT_雪夜归人 发表于 2016-3-24 10:26:34 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 5 10585
hbase hbase.hregion.max.filesize的问题:
hbase  hbase.hregion.max.filesize刚开始是256M,然后造了很多数据之后,把该值调到了10G,不知道如何操作使现有数据的大小变成10G

已有(5)人评论

跳转到指定楼层
when30 发表于 2016-3-24 11:52:50
楼主是想空间变大??不断上传文件,应该就可以了。
回复

使用道具 举报

IT_雪夜归人 发表于 2016-3-24 15:30:22
when30 发表于 2016-3-24 11:52
楼主是想空间变大??不断上传文件,应该就可以了。

我是想调整hbase.hregion.max.filesize来对比验证hbase hfile的大小对性能的影响
回复

使用道具 举报

bioger_hit 发表于 2016-3-24 16:49:27
IT_雪夜归人 发表于 2016-3-24 15:30
我是想调整hbase.hregion.max.filesize来对比验证hbase hfile的大小对性能的影响

为0.90.x的源代码,对regionsize上限约为4GB,默认值为256MB。0.92.x的源代码文件,由于V2变化较大regionsizes可以支持(例如,20GB)。
在硬件配置和应用需求的基础上,您可能需要进行实验。
调整你的hbase-site.xml hbase.hregion.max.filesize。

regionsize也可以设置每一个表的基础上通过htabledescriptor。

上面楼主配置完生效后,不断测试即可

回复

使用道具 举报

IT_雪夜归人 发表于 2016-3-25 15:05:41
bioger_hit 发表于 2016-3-24 16:49
为0.90.x的源代码,对regionsize上限约为4GB,默认值为256MB。0.92.x的源代码文件,由于V2变化较大region ...

我把region size调大之后,现有的region会自动合并么?我改了 好像没啥反应,求教
回复

使用道具 举报

bioger_hit 发表于 2019-12-3 08:37:15
IT_雪夜归人 发表于 2016-3-25 15:05
我把region size调大之后,现有的region会自动合并么?我改了 好像没啥反应,求教

这个是regionserver的参数,需要修改regionserver配置并重启,默认split策略中,split阈值是一个动态值,生效的话,使用ConstantSizeRegionSplitPolicy.


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条