分享

Hbase结合Solr,rowkey设计

leegh1992 发表于 2016-7-23 20:26:49 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 11 15264
大家好,现在有一个问题,想请教一下各位。
一天有10亿的数据量,其中包括产品线、国家、省市、平台、渠道、起始日期,结束日期等20个维度指标;存入hbase,要做到快速查询 ,web端用户可以任意输入指标进行查询;如何设计rowkey做到快速查询,查询条件是动态的,可以是起始时间到结束时间之间范围、国家、省市、 渠道、平台的任意组合;谢谢~

已有(11)人评论

跳转到指定楼层
leegh1992 发表于 2016-7-23 21:55:02
嗯嗯,谢谢,目前比较困惑的是不知道如何设计rowkey~
回复

使用道具 举报

IT_雪夜归人 发表于 2016-7-23 21:45:09
hbase做不到太快,你可以用solr进行各种条件查询,秒级返回。
回复

使用道具 举报

leegh1992 发表于 2016-7-23 21:56:12
IT_雪夜归人 发表于 2016-7-23 21:45
hbase做不到太快,你可以用solr进行各种条件查询,秒级返回。

嗯嗯,谢谢,目前比较困惑的是不知道如何设计rowkey~
回复

使用道具 举报

einhep 发表于 2016-7-24 07:52:20
leegh1992 发表于 2016-7-23 21:56
嗯嗯,谢谢,目前比较困惑的是不知道如何设计rowkey~

如果条件是动态的,查询可以使用solr。
rowkey的设计,如果使用solr了,rowkey的设计,看你需求。
rowkey一般是最常用的查询。

更多参考
HBase Rowkey的散列与预分区设计
http://www.aboutyun.com/forum.php?mod=viewthread&tid=8909


HBase的rowkey设计

http://www.aboutyun.com/forum.php?mod=viewthread&tid=7119


hbase之rowkey的设计讨论

http://www.aboutyun.com/forum.php?mod=viewthread&tid=8171



回复

使用道具 举报

leegh1992 发表于 2016-7-24 08:48:30
einhep 发表于 2016-7-24 07:52
如果条件是动态的,查询可以使用solr。
rowkey的设计,如果使用solr了,rowkey的设计,看你需求。
rowk ...

嗯嗯,谢谢你!~但是我们这查询条件有点多,行键的设计原则不是不宜太长吗?
回复

使用道具 举报

nextuser 发表于 2016-7-24 12:42:16
leegh1992 发表于 2016-7-24 08:48
嗯嗯,谢谢你!~但是我们这查询条件有点多,行键的设计原则不是不宜太长吗?

对查询条件的列,拍一个序,不能都放里面。
更多条件可以通过solr实现
回复

使用道具 举报

leegh1992 发表于 2016-7-24 18:37:08
nextuser 发表于 2016-7-24 12:42
对查询条件的列,拍一个序,不能都放里面。
更多条件可以通过solr实现

是想通过solr结合hbase实现,但是在solr中设计获得行键,再到hbase中查询出对应的结果呢?
回复

使用道具 举报

langke93 发表于 2016-7-24 19:38:35
leegh1992 发表于 2016-7-24 18:37
是想通过solr结合hbase实现,但是在solr中设计获得行键,再到hbase中查询出对应的结果呢?

将hbase中想查询的条件,也就是你的字段,在Solr中建立索引,通过Solr的多条件查询快速获得符合过滤条件的rowkey值,拿到这些rowkey之后在HBASE中通过指定rowkey进行查询。





回复

使用道具 举报

leegh1992 发表于 2016-7-24 22:09:30
langke93 发表于 2016-7-24 19:38
将hbase中想查询的条件,也就是你的字段,在Solr中建立索引,通过Solr的多条件查询快速获得符合过滤条件 ...

您的意思是solr中的key和hbase中的rowkey是一样的?
回复

使用道具 举报

12下一页
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条