搜索
搜 索
本版
文章
帖子
用户
图文精华
hadoop-2.6.0+zookeeper-3.4.6+hbase-1.0.0+hive-1.1.0完全分布 ...
首页
Portal
专题
BBS
面试
更多
登录
注册
用户组:游客
主题
帖子
云币
我的帖子
我的收藏
我的好友
我的勋章
设置
退出
导读
博客
群组
今日排行
本周排行
本周热帖
本月排行
本月热帖
会员排行
About云
»
专题
›
交流区
›
技术交流
›
MapReduce
›
MapReduce有哪些应用场景问题
0
8
0
分享
MapReduce有哪些应用场景问题
kaif22
发表于 2013-10-26 15:15:44
[显示全部楼层]
阅读模式
关闭右栏
8
28298
请问各位,MapReduce的典型应用场景是啥吗?除了wordcount、grep那些例子程序,有哪些典型的可以用MapReduce解决吗?比如说科学计算方面的吗?
回复
使用道具
举报
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
显身卡
已有(8)人评论
电梯直达
正序浏览
a2325145
发表于 2013-10-26 15:15:44
目前日志剖析用的比较多,还有做搜素的索引,机器研究算法包mahout也是之一,当然它能做的东西还有很多。
你可以看看下面这本材料,专门用MapReduce来做数据挖掘、信息提取的。
http://bbs.hadoopor.com/thread-970-1-1.html
回复
使用道具
举报
显身卡
oYaoXiang1
发表于 2013-10-26 15:15:44
回复
2#
spork
好的,谢谢。
请问有没有啥典型在用mapreduce解决时会产生reduce tasks负载不平衡的呢吗?
回复
使用道具
举报
显身卡
skaterxu
发表于 2013-10-26 15:15:44
key分布不均匀,这是一个很典型的会造成redue tasks负载不平衡的。
你可以看看下面这个帖子:
http://bbs.hadoopor.com/thread-193-1-1.html
回复
使用道具
举报
显身卡
einhep
发表于 2013-10-26 15:15:44
回复
4#
spork
嗯 这个是存在的,但是与具体的应用很相关,我想问是否有某种典型应用在用mapreduce处理时存在这个吗?
回复
使用道具
举报
显身卡
louisthy
发表于 2013-10-26 15:15:44
举个例子哈,比如你做了一个在线听歌的网站,你其中有一项业务就是要统计每一首歌的点播情况及对应用户的信息,这时候肯定是有一些歌很热,点的人多,一些歌很冷,点的人少。那就会造成reduce tasks的不均衡情况(某些tasks要处理比较多的用户信息,一些tasks则很少)。
回复
使用道具
举报
显身卡
wscl1213
发表于 2013-10-26 15:15:44
回复
6#
spork
这个例子是挺好的诶~呵呵
回复
使用道具
举报
显身卡
xukunddp
发表于 2013-10-26 15:15:44
回复
6#
spork
不过请问,这个应用不一定要用mapreduce来处理的吧吗?为达到统计的效果,直接修改数据库不就行了么吗?呵呵
回复
使用道具
举报
显身卡
a2325145
发表于 2013-10-26 15:15:44
MapReduce本来就是用笨方法做事,靠“人多欺负人少”,不要为了用MR而用它,根据业务和数据量来,上面那个只是举个例子。
回复
使用道具
举报
显身卡
高级模式
B
Color
Image
Link
Quote
Code
Smilies
您需要登录后才可以回帖
登录
|
立即注册
本版积分规则
发表回复
回帖后跳转到最后一页
发表新帖
kaif22
中级会员
关注
56
主题
139
帖子
3
粉丝
TA的主题
忘掉平板吧,诺基亚还有一个更大的计划
2013-12-17
MapReduce有哪些应用场景问题
2013-10-26
讨论:改进HDFS支持update和delete操作方法
2013-10-25
HDFS block missing 的问题
2013-10-25
没有安装hadoop的客户端不能运行hdfs的api吗?
2013-10-25
24小时热文
哈佛通识教育红皮书 (北大高等教育文库·大
代码精进之路:从码农到工匠
为什么面试难!一文帮我们看透本质,拿捏of
程序员薪资排名,AI位居榜首,平均年薪277
Django实战:Python Web典型模块与项目开发
关闭
推荐
/2
中文版ChatGPT
1.无需魔法 2.提高编程效率 3.提高文档能力
查看 »
新手帮助
新手帮助:注册遇到问题,领取资源,加入铁粉群,不会使用搜索,如何获取积分等
查看 »
意见
反馈