搜索
搜 索
本版
文章
帖子
用户
图文精华
hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...
首页
Portal
专题
BBS
面试
更多
登录
注册
用户组:游客
主题
帖子
云币
我的帖子
我的收藏
我的好友
我的勋章
设置
退出
导读
淘贴
博客
群组
社区VIP
APP下载
今日排行
本周排行
本周热帖
本月排行
本月热帖
会员排行
About云-梭伦科技
»
专题
›
交流区
›
技术交流
›
疑问解答
›
habse关于高并发存储后立即读取新数据的问题
0
2
0
分享
habse关于高并发存储后立即读取新数据的问题
k9009147217
2017-11-24 13:24:19
发表于
疑问解答
[显示全部楼层]
阅读模式
关闭右栏
2
4893
场景:任意时刻需要存储大量的高频数据 存储后 key按照时分秒设计 当数据多线程大批量写入后 其它程序读取时无法获取最新的一部分数据 要等待20s左右才会有 这个问题怎么解决啊
回复
使用道具
举报
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡
已有(2)人评论
电梯直达
正序浏览
starrycheng
发表于 2017-11-24 15:09:26
hbase插入后,并不会马上提交。会根据一些条件触发flush。
楼主尝试手工flush,也就是通过代码去实现
回复
使用道具
举报
显身卡
xiaobaiyang
发表于 2017-11-24 15:16:14
有个疑问,看你的描述,采用多线程大批量的写入,而rowkey采用时分秒进行设计,那会不会有key重复的情况,而且,hbase的key是按照字典顺序排的,如果按照时分秒设计,可能会造成热点问题。
针对时间慢的问题,我认为:
1).在建表时进行优化,比如可以创建预分区,还 可以考虑重新设计key,比如时分秒转换成纳秒然后反转在拼接一些其他随机值(以免key值重复)进行设计,可以避免热点问题;
2). 可以考虑采取二级索引的方式进行优化,比如将要查询的字段(key)放到solr中。查询时,先从solr中查找,找到对应的rowkey后,再到hbase中查询,这样也可以提高查询效率。
回复
使用道具
举报
显身卡
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
发表新帖
k9009147217
注册会员
关注
9
主题
20
帖子
3
粉丝
TA的主题
habse关于高并发存储后立即读取新数据的问题
2017-11-24
hbase中的日志太大了 怎么自动定时删除只保留最近一段时间的日志内容
2017-5-8
怎样查看hbase下某一张表在各个子节点存储大小
2017-2-3
在windows下读写hbase 中文汉字
2016-11-4
HBase的汉字乱码问题
2016-11-3
24小时热文
Spark机器学习
Spark机器学习算法、源码及实战详解
《深度实践Spark机器学习(吴茂贵)》高清
《Spark机器学习第2版》高清中文PDF
像高手一样发言:七种常见工作场景的说话之
关闭
推荐
/2
中文版ChatGPT
1.无需魔法 2.提高编程效率 3.提高文档能力
查看 »
新手帮助
新手帮助:注册遇到问题,领取资源,加入铁粉群,不会使用搜索,如何获取积分等
查看 »
意见
反馈