搜索
搜 索
本版
文章
帖子
用户
图文精华
hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...
首页
Portal
专题
BBS
面试
更多
登录
注册
用户组:游客
主题
帖子
云币
我的帖子
我的收藏
我的好友
我的勋章
设置
退出
导读
淘贴
博客
群组
社区VIP
APP下载
今日排行
本周排行
本周热帖
本月排行
本月热帖
会员排行
About云-梭伦科技
»
专题
›
交流区
›
技术交流
›
HBase
›
Hbase region太多导致集群压力大,如何解决?
0
1
0
分享
Hbase region太多导致集群压力大,如何解决?
cloudcat
发表于 2017-3-8 14:29:47
[显示全部楼层]
阅读模式
关闭右栏
1
14418
以下是我的集群信息:
时间
hbase.hregion.max.filesize
每台服务器 region数量
HDFS IO
集群磁盘IO
cpu使用率
2016年4月2号
10G
350
1.3GM/s
135M/s
15%
2016年4月3号
512M
350
80M/s
120M/s
16%
2017年3月5号
512M
970
600M/s
300M/s
60%
去年4月2号,发现 HDFS IO太高,所以设置hbase.hregion.max.filesize=512M,HDFS IO 就降低了,系统也很稳定。
到现在数据量大了,每台服务器region达到1000,导致集群磁盘IO很高,这样cpu也会很高了,查询也变慢了。我查了linux io,发现大部分都是hbase读取数据造成的。
我知道合并region可以提高集群效率。现在我有一个问题,如果我设置hbase.hregion.max.filesize=2G,重启动CDH集群
1、 系统会帮我自动合并,把4个512M的region合并成一个2G的吗?
2、如果CDH集群不能自动合并,我知道手动合并,但是手动合并每次只能合并两个。我hbase总的region数目达到5000多个,所以不可能用手动合并方法?
如果CDH自动合并,那就再好不过了,不知道我的想法是否能实现?
回复
使用道具
举报
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡
已有(1)人评论
电梯直达
正序浏览
fylanyu
发表于 2017-3-8 15:58:33
楼主既然调整过,那相信应该清楚,是否会合并。个人认为系统不会自动合并
还可以调整下hbase.regionserver.handler.count参数
regionserver处理IO请求的线程数
线上配置:适当调大
默认配置:10
hbase.regionserver.handler.count:该设置决定了处理RPC的线程数量,默认值是10,通常可以调大,比如:150,当请求内容很大(上MB,比如大的put、使用缓存的scans)的时候,如果该值设置过大则会占用过多的内存,导致频繁的GC,或者出现OutOfMemory,因此该值不是越大越好。
回复
使用道具
举报
显身卡
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
发表新帖
cloudcat
中级会员
关注
29
主题
92
帖子
6
粉丝
TA的主题
Hbase region太多导致集群压力大,如何解决?
2017-3-8
hbase region导致磁盘Io过高,CPU 使用率过高,如何解决
2017-3-8
CDH集群磁盘IO太高,CPU也很高,如何查询原因
2017-3-3
R语言是否能调用webservice?
2017-1-5
R语言如何对外提供统计服务?
2017-1-3
24小时热文
矩阵分析引论罗家洪(第四版)
互联网大厂年终福利曝光:看看别人家老板怎
像高手一样发言:七种常见工作场景的说话之
携程允许员工春节回乡办公2个月
数据治理实施方案
关闭
推荐
/2
中文版ChatGPT
1.无需魔法 2.提高编程效率 3.提高文档能力
查看 »
新手帮助
新手帮助:注册遇到问题,领取资源,加入铁粉群,不会使用搜索,如何获取积分等
查看 »
意见
反馈