hbase适合大内存使用吗？
情况大概这样，现在有套集群，大概50节点，因前期业务规划不好，表数量很多，直接导致reigons数量也很多，当前单台regionserver的regions数量大概在600-900之间，定期有做balancer。当前数据节点内存是64G，Hbase JVM=24G
问题：
1.拟用20个节点的新集群，内存196G替代当前集群，是否可行，因主要跑HBASE，JVM设置多大会比较合适？
2.内存调大后，是否单台的regions数量突破1200左右性能依然还不错？（因老集群之前reigons突破1000左右的时候出现过性能问题，后来disable了部分表，性能才好转）
3.各位对这种迁移替代方案有什么高见？多谢！
Hadoop技术组 jvm一般为系统的2/3，如果是196G的130G即可。突破1200个人认为没有问题。不过还是看集群的配置、调优等。
另外还需要确定自己的集群是读多，还是写多。
推荐参考
HBase最佳实践网易视频云--内存规划
http://www.aboutyun.com/forum.php?mod=viewthread&tid=18932
对于集群的迁移，分为两种
1.停止集群
2.运行时迁移
方法也都不一样
推荐参考
Hbase集群间数据迁移方法总结（包括不通信集群）
http://www.aboutyun.com/forum.php?mod=viewthread&tid=7628
迁移的时候，记得做好备份
2017 发表于 2017-4-25 17:10
jvm一般为系统的2/3，如果是196G的130G即可。突破1200个人认为没有问题。不过还是看集群的配置、调优等。
...
多谢回答，关于读写及迁移的文章我之前稍微了解过，现在听群友说hbase如果内存过大，fullgc的时间会很久，所以他觉得一般JVM不超过20G，关于读写这块，大概读写比是3:2的样子，所以读写方面的配置基本用了默认的配置。所以关于hbase使用大内存会存在哪些问题跟隐患，还是想详细的了解下。
另您说的迁移做好备份，应该是指元数据的备份吧，毕竟hadoop的数据做备份的话好像需求的空间还挺大...
HawCHing 发表于 2017-4-26 08:56
多谢回答，关于读写及迁移的文章我之前稍微了解过，现在听群友说hbase如果内存过大，fullgc的时间会很久 ...
个人认为hbase使用大内存是没有关系的。关键还是配置的分配的问题。比如jvm不超过20G，配置不超过即可。
页:
[1]