分享

关于卡口数据到底用hbase还是mongoDB?

linjikai8888 发表于 2015-5-9 20:57:16 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 9 40189
公司要开始使用nosql数据库,本来打算用hbase

但是卡口数据存入到hbase中,一些分析个人觉得会变得很复杂,可能是自己对hbase还不了解吧。
卡口编号+时间 作为rowkey,可以轻松查到一个卡口在某段时间的所有数据。
但是需求是多卡口的查询,并且可以对所有车牌号的轨迹查询。
个人感觉hbase应该无法胜任。
即使是用卡口编号+车牌+时间貌似也没办法解决,车牌还有中文,用来做rowkey也怪怪的。

时间+卡口貌似又没有办法把数据分布出去,造成热点,对后面的查询也会有问题。

请资深人员帮忙解答下!

已有(9)人评论

跳转到指定楼层
tntzbzc 发表于 2015-5-9 21:14:31
mongoDB据说数据量一大比较容易崩溃,还是谨慎使用。
hbase的中文,了解下hbase二级索引
回复

使用道具 举报

fly2015 发表于 2015-5-10 15:36:02
呵呵 你们哪个公司啊 ,我们公司也做过卡口数据的存储与分析,我是存到hbase里的,然后通过sql作统计。
回复

使用道具 举报

NIITYZU 发表于 2015-5-10 16:46:00
是可以的,试试将车牌号使用MD5处理后作为rowkey的一部分,如果根据车牌号查询的时候,将车牌号通过MD5散列处理后再查询,这样就可以匹配了。这个方法是HBase实战那本书上介绍的,你可以试试
回复

使用道具 举报

linjikai8888 发表于 2015-5-10 18:40:26
fly2015 发表于 2015-5-10 15:36
呵呵 你们哪个公司啊 ,我们公司也做过卡口数据的存储与分析,我是存到hbase里的,然后通过sql作统计。

sql分析? 是hive吧!

我们担心太慢了,所以没有打算这种做法!

回复

使用道具 举报

linjikai8888 发表于 2015-5-10 18:47:13
NIITYZU 发表于 2015-5-10 16:46
是可以的,试试将车牌号使用MD5处理后作为rowkey的一部分,如果根据车牌号查询的时候,将车牌号通过MD5散列 ...

恩,这样对车牌号查询应该没有问题哦。

不过看需求比较麻烦,需要用卡口去查车辆轨迹,这里并不是指单单一辆车。

用户输入的条件,应该会是初始卡口,终止卡口,加上时间,可选 车牌号。

初始卡口可以单个也可以多个,终止卡口可不选。
初始卡口可以多个,终止卡口也可以多个。

回复

使用道具 举报

aqi915 发表于 2015-5-10 19:26:49
好神奇,MD5  在hbase 加密解密会有bug 么,学习中。比如解出来是错误。
回复

使用道具 举报

szcountryboy 发表于 2015-5-15 09:43:33
Range start / end ( 时间 + 卡口)
filter  ( 车牌过滤 )

还有一种,就是经常说的solr对数据查询,返回rowkey,然后再在hbase里使用rowkey进行查询。
回复

使用道具 举报

NIITYZU 发表于 2015-5-18 23:13:21
朋友你好,因为我的研究方向就是智能交通,想学习学习,不知道是否方便发一份你们的需求给我学习学习
回复

使用道具 举报

ld512870 发表于 2015-11-17 17:14:56
楼主,你们最终是用hbase存储的吗?还有,卡口数据中有照片视频之类的吗?这些是怎么存储的呢?是存储路径吗?
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条