分享

mr 如何实现 网站连续几日uv量统计

kaka100 发表于 2015-8-6 17:36:51 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 4 26919
各位帮忙,我没思路
mapreduce 实现 网站连续几日uv量统计
您给个示例 谢谢

已有(4)人评论

跳转到指定楼层
arsenduan 发表于 2015-8-6 17:59:25

1.首先我们确定第一步:
在不使用mapreduce的情况下,如何实现uv的统计

我们知道uv,跟ip是不同的,当然这个数据,肯定在楼主的原始数据中是包含的。
我们将楼主的数据简化,只要使用count来统计uv。

也就是说楼主的使用普通的Java程序或则一个简单的sql即可实现uv的统计。

2.第二步骤使用mapreduce。
那么mapreuce该如何实现。
那么我们只要知道map函数和reduce函数分别实现了什么功能即可。
剩下的就是随便参考个mapreduce模型或则实例就实现了。

这里提供一个实例,更多楼主可以自己搜一下。
新手指导,该如何在开发环境中,创建mapreduce程序

下面我们来细化:

map函数:
这里主要是分发数据,也就是将楼主提供的原始数据进行分割。分割的目的是什么,运行在多台机器上,这就是map的作用。

reduce函数:
reduce用来干嘛的那,就是用来统计的了。
也就是我们上面count,这里reduce对map进行汇总,然后整体统计。这样uv就出来了。

希望对楼主有所帮助




回复

使用道具 举报

kaka100 发表于 2015-8-8 08:19:15
谢谢,MR基本的内容我了解了,只是对连续几天的实现有些疑惑请指点一下
回复

使用道具 举报

leo_1989 发表于 2015-8-9 17:28:14
kaka100 发表于 2015-8-8 08:19
谢谢,MR基本的内容我了解了,只是对连续几天的实现有些疑惑请指点一下

连续和非连续只不过数据量有些不同,楼主的疑惑点可以说的在详细些
回复

使用道具 举报

waitingfor 发表于 2016-1-28 16:04:05
楼主,这个是怎么解决的呀?有好办法没?
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条