分享

没见过mapreducer的项目,想自己学着写一个但是遇见了问题

mjjian0 发表于 2014-10-30 10:01:19 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 12 13720
mjjian0 发表于 2014-10-30 11:11:16
其实我们公司大数据的项目还没有写mr函数,都是用hive处理的。我之所以想试试把它改成用mr处理,就是想私底下练习练习写mr的能力,我决定在main 函数里job处理的时候把分析后的数据写到数据库。不知道高级的mr是怎么写的。
回复

使用道具 举报

bioger_hit 发表于 2014-10-30 11:18:17
mjjian0 发表于 2014-10-30 11:11
其实我们公司大数据的项目还没有写mr函数,都是用hive处理的。我之所以想试试把它改成用mr处理,就是想私底 ...
mr没有什么高级不高级,根据业务逻辑来。
知道mr是一个编程模型就可以了。

写mr刚开始,可以参考下面的案例


MapReduce初级案例(1):使用MapReduce去重


MapReduce初级案例(2):使用MapReduce数据排序


MapReduce初级案例(3):使用MapReduce实现平均成绩


Hadoop MapReduce案例英文视频(带字幕)视频
回复

使用道具 举报

mjjian0 发表于 2014-10-30 12:11:17
bioger_hit 发表于 2014-10-30 11:18
mr没有什么高级不高级,根据业务逻辑来。
知道mr是一个编程模型就可以了。

谢谢你的解答!!!!
回复

使用道具 举报

12
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条