深度了解mapreduce---MapReduce源码分析总结

查看数: 35154 | 评论数: 19 | 收藏 13

关灯 | 提示：支持键盘翻页<-左右->

发布时间: 2014-4-30 21:30

本帖最后由 pig2 于 2014-5-1 01:24 编辑本人适合对mapreduce有一定经验人来阅读，对于新手来讲，只是阅读前面会有收获不少，但是到了后面就会有些看不懂，可以简单了解。如果对mapreduce有了半年的编程经验并且 ...

蓝月狼 发表于 2017-2-8 14:20:03

我比较想知道，hadoop2.x引入YARN后的处理过程的对比有啥变化

推荐这个 Hadoop2.x 让你真正明白yarn http://www.aboutyun.com/forum.php?mod=viewthread&tid=20891 发表于 2017-2-8 14:22

Adangge 发表于 2016-10-8 06:17:50

一口气看完！handoop中数据的流动不过如此了！大神 ich liebe dich!

巅峰142斤 发表于 2016-1-29 08:46:15

唔。。要好好研究研究

peterzor 发表于 2016-1-28 17:13:23

mark mark

shanquan2006 发表于 2016-1-28 11:20:53

收藏下来慢慢看

1027420005 发表于 2015-6-24 09:15:26

太棒了。赞一个。么么哒。

xuanxufeng 发表于 2015-6-23 20:13:07

hadoopnewcomer 发表于 2015-6-23 20:11
这个数据流我指的就是比如说这个.jar文件还有关于这个job本身的配置文件等等...我是看第一个图分析的,感 ...

jobtracer主要负责任务分配。
目前有yarn了，jobtracer过时了

hadoopnewcomer 发表于 2015-6-23 20:11:09

xuanxufeng 发表于 2015-6-23 19:51
数据流是指下载吗？
应该的是的

这个数据流我指的就是比如说这个.jar文件还有关于这个job本身的配置文件等等...我是看第一个图分析的,感觉数据流不该流过JobTracker.要不然Jobtracker的负载太大了啊...本人非科班出身.只是对这个感兴趣.在不停地研究中

xuanxufeng 发表于 2015-6-23 19:51:37

hadoopnewcomer 发表于 2015-6-23 19:37
恩恩那个就是其实JobClient给JobTracker的仅仅是个url,然后JobTracker将这个url给TaskTracker.TaskTra ...

数据流是指下载吗？
应该的是的

图文精华