这样的实时统计场景storm应该怎么用？

wkf46525 · 发表于 2015-7-9 11:29:22

我的项目有一个场景，就是没个用户来一条记录，要根据以前的所有历史记录来计算这个用户的信息，这种情况用storm来实时计算的话，这个历史记录的数据该用什么保存呢，是分布式内存redis来保存还是用hbase来保存

muyannian · 发表于 2015-7-9 11:40:26

wkf46525 发表于 2015-7-9 11:29
我的项目有一个场景，就是没个用户来一条记录，要根据以前的所有历史记录来计算这个用户的信息，这种情况用 ...

简单的说用哪个是不合理的，根据你们自己的场景来
redis是缓存数据库
hbase适合数据量大，并且使用熟练，查询简单的场景

wkf46525 · 发表于 2015-7-9 11:45:40

muyannian 发表于 2015-7-9 11:40
简单的说用哪个是不合理的，根据你们自己的场景来
redis是缓存数据库
hbase适合数据量大，并且使用 ...

用redis的话，可以直接从redis读取历史数据
用hbase话，需要先插入进去，然后再查询出所有的数据来计算，我也不清楚该用哪种好了
业界对于这种场景一般用什么方案呢？

mjjian0 · 发表于 2015-7-10 16:09:16

wkf46525 发表于 2015-7-9 11:29
我的项目有一个场景，就是没个用户来一条记录，要根据以前的所有历史记录来计算这个用户的信息，这种情况用 ...

用hbase靠谱些

mjjian0 · 发表于 2015-7-10 16:15:15

尘世随缘发表于 2015-3-30 12:36
storm实时是：来一条，我统计下，关键这个统计结果是存入内存还是数据库？如果存入内存当机器宕机了，则统 ...

你可以把计算结果存redies一份，然后存hbase一份，存redies的不是所有的，只是为了实时显示的，过了这个时间点可以销毁，历史数据去hbase查。另外，10w条数据通过storm计算后应该会少很多吧，把计算结果放hbase。不知道你的业务场景是什么样的。我现在做的项目是这样的。

图文精华