立即注册 登录
About云-梭伦科技 返回首页

langke93的个人空间 https://aboutyun.com/?1415 [收藏] [复制] [分享] [RSS]

日志

hbase memstore设置无效解决思路

已有 1544 次阅读2018-6-14 10:43 |系统分类:Hbase

sqlserver中的数据导入至HBase中一张表数据2kw左右,使用的是kettle工具,大量的数据导入可能会产生compaction,这里memestore设置的是128m,但是在执行至memstore至30m大小开始flush就开始flush了,请问这是什么原因?
建议:
1.RS 内存设置太小 memstore默认占40%
2.HF达到允许的最大数量 具体看 hbase.hstore.blockingStoreFiles的设置
3.MS大小达到阈值 hbase.hregion.memstore.flush.size * hbase.hregion.memstore.block.multiplier
4.RS上面的MS总大小达到阈值 hbase.regionserver.global.memstore.size


路过

雷人

握手

鲜花

鸡蛋

评论 (0 个评论)

facelist doodle 涂鸦板

您需要登录后才可以评论 登录 | 立即注册

关闭

推荐上一条 /2 下一条