深度了解mapreduce---MapReduce源码分析总结

hadoopnewcomer · 发表于 2015-6-23 19:37:47

muyannian 发表于 2015-6-23 18:30
Job.jar的url可以下载Job.jar

恩恩那个就是其实JobClient给JobTracker的仅仅是个url,然后JobTracker将这个url给TaskTracker.TaskTracker再去相应的HDFS的具体位置下载.jar,是这个过程吧？？也就是说最终没有数据流过JobTracker吧

xuanxufeng · 发表于 2015-6-23 19:51:37

hadoopnewcomer 发表于 2015-6-23 19:37
恩恩那个就是其实JobClient给JobTracker的仅仅是个url,然后JobTracker将这个url给TaskTracker.TaskTra ...

数据流是指下载吗？
应该的是的

hadoopnewcomer · 发表于 2015-6-23 20:11:09

xuanxufeng 发表于 2015-6-23 19:51
数据流是指下载吗？
应该的是的

这个数据流我指的就是比如说这个.jar文件还有关于这个job本身的配置文件等等...我是看第一个图分析的,感觉数据流不该流过JobTracker.要不然Jobtracker的负载太大了啊...本人非科班出身.只是对这个感兴趣.在不停地研究中

xuanxufeng · 发表于 2015-6-23 20:13:07

hadoopnewcomer 发表于 2015-6-23 20:11
这个数据流我指的就是比如说这个.jar文件还有关于这个job本身的配置文件等等...我是看第一个图分析的,感 ...

jobtracer主要负责任务分配。
目前有yarn了，jobtracer过时了

1027420005 · 发表于 2015-6-24 09:15:26

太棒了。赞一个。么么哒。

shanquan2006 · 发表于 2016-1-28 11:20:53

收藏下来慢慢看

peterzor · 发表于 2016-1-28 17:13:23

mark mark

巅峰142斤 · 发表于 2016-1-29 08:46:15

唔。。要好好研究研究

Adangge · 发表于 2016-10-8 06:17:50

一口气看完！handoop中数据的流动不过如此了！大神 ich liebe dich!

蓝月狼 · 发表于 2017-2-8 14:20:03

我比较想知道，hadoop2.x引入YARN后的处理过程的对比有啥变化

图文精华