sqlserver中的数据导入至HBase中一张表数据2kw左右,使用的是kettle工具,大量的数据导入可能会产生compaction,这里memestore设置的是128m,但是在执行至memstore至30m大小开始flush就开始flush了,请问这是什么原因?
建议:
1.RS 内存设置太小 memstore默认占40%
2.HF达到允许的最大数量 具体看 hbase.hstore.blockingStoreFiles的设置
3.MS大小达到阈值 hbase.hregion.memstore.flush.size * hbase.hregion.memstore.block.multiplier
4.RS上面的MS总大小达到阈值 hbase.regionserver.global.memstore.size