分享

hbase高并发操作问题

zhanmsl 发表于 2015-6-24 10:41:26 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 4 59992
新手请教个问题,可能表达的有问题请勿见怪。
如果是一个手机游戏,数据需要保存在hbase中,刚开始的时候用户量为3000-5000的读写并发量,后续玩家会增多到3W-5W,假设最多的情况是30W-50W用户在线进行数据的读写操作,当然是允许一段时间的延迟,对于集群的组成上升级和管理,以及hbase的优化上都有哪些注意的关键点。

请大神吐槽,给出合理性意见,谢谢!

已有(4)人评论

跳转到指定楼层
xuanxufeng 发表于 2015-6-24 11:18:05
facebook, ebay,taobao,百度,还有n多公司都在用。hbase适用于高并发的顺序读写,且写 > 读的应用场景。
所以hbase对于楼主的需求是完全可以胜任的。
所做的是该如何优化。

当然优化的方法很多,这里只举几个简单的例子:

1.系统压力大,可能出现访问hbase的日志中不时出现各种TimeOutException,由于对HBase的并发连接数太多了,使得region server的handler不够用,server端还没来得及处理请求,client端已经到了超时时间而断开。
解决方法:

大幅度减少了访问hbase的进程数以减少对hbase的并发连接,为了不降低处理能力,在进程内部使用更多的处理线程,很大程度缓解了hbase region server的压力。

2.避免HBase访问热点

3.对于日志优化(有些不必要的操作,可以关闭日志)

回复

使用道具 举报

zhanmsl 发表于 2015-6-24 15:14:09
回复

使用道具 举报

zhanmsl 发表于 2015-6-24 17:35:29
xuanxufeng 发表于 2015-6-24 17:29
下面参考:

淘宝为什么使用HBase及如何优化的

谢谢!
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条