用户行为分析系统

网站各项指标：(数据库：mongodb)在给定时间区间内，统计
特定用户在频道、栏目下的各项指标(如排行、PV、UV、平均访问时长等)
所有用户在频道、栏目下的各项指标(如排行、PV、UV、平均访问时长等)
如果时间区间太长，会导致得出结果非常缓慢，无法忍受。
现在的想法是：将计算和查询分离。
计算服务：以天为单位，为每个用户计算指标，存储下来。
查询服务：每天读取存储各项指标，进行迭代计算，返回结果。

计算服务中一般都以什么样的形式存储，文件、表？

对于网站指标的统计，大家都采用的是什么方案呢？
先在这谢谢了...

howtodown · 发表于 2015-3-26 01:23:56

这里有用户行为分析系统，对于思路和解决方案可能有所帮助。

链接：http://pan.baidu.com/s/1o6sogHW 密码：4br4
至于具体的实现，可以使用大数据，技术的选择，当然根据自己的情况

howtodown · 发表于 2015-3-25 15:36:58

日志分析资料：

百度：百度日志分析技术分享

基于hive日志统计实战

flume-kafka-storm日志处理经验

hadoop在电信上网日志处理的应用架构及在金融行业的应用架构分析

about云分析discuz论坛apache日志hadoop大数据项目：数据库设计说明书第一版

howtodown · 发表于 2015-3-25 15:34:18

计算服务中一般都以什么样的形式存储，文件、表？

计算方式总体分为两种，文件，表都是可以的。

这个属于日志分析：
分为两种情况：
1.离线处理
对于离线处理，适合使用hadoop，数据导入hbase中，hbase与hive整合，hive进行统计，比如

在给定时间区间内，统计
特定用户在频道、栏目下的各项指标(如排行、PV、UV、平均访问时长等)
所有用户在频道、栏目下的各项指标(如排行、PV、UV、平均访问时长等)

最后将统计结果放入mysql中，然后展示出来

如果使用mongodb，mongodb也增加了对hive支持，将mongodb替换为hbase即可

2.在线处理
在线处理有spark和storm
spark内容比较多，有spark sql ，spark stream等
storm具有多级处理功能。

上面属于计算模型。具体用那个看需求和公司的技术情况。