计算Job运行时的CPU与内存平均利用率（MapReduce）

查看数: 21809 | 评论数: 8 | 收藏 1

关灯 | 提示：支持键盘翻页<-左右->

发布时间: 2014-12-23 22:44

问题导读 1.数据采集什么时候开始与结束？ 2.如何获取运行task的JVM pid？ Hadoop集群上运行有多道MapReduce Job，到底每个Job消费集群计算资源(CPU，内存)的情况如何，通常我们 ...

ainubis 发表于 2015-3-28 04:50:27

持续关注中。。

bioger_hit 发表于 2015-1-5 21:04:01

zzuyao 发表于 2014-12-24 10:09
3.楼主上面提到了TaskTracker 是hadoop1.x中的，hadoop2.x中MRAPPMaster会管理task的生命周期，上面的分析 ...

这些相信楼主都已经有答案了，实践下就什么都清楚了。

大数据爱我 发表于 2015-1-5 21:00:02

学习了，楼主幸苦了！

hb1984 发表于 2014-12-24 11:40:36

谢谢楼主分享。

zzuyao 发表于 2014-12-24 10:09:09

3.楼主上面提到了TaskTracker 是hadoop1.x中的，hadoop2.x中MRAPPMaster会管理task的生命周期，上面的分析提到的创建jvm的活应该交给ApplicationMaster（发送NM命令，启动Contioner）了吧？

zzuyao 发表于 2014-12-24 09:59:18

楼主，请教几个问题：
1.你们集群监控用的什么啊？Apache Ambari or Apache Mesos 。。。
2.集群监控工具也能做些job监控管理的活吧？

355815741 发表于 2014-12-24 08:58:04

非常的东西，学习了，谢谢分享~

lixiaoliang7 发表于 2014-12-24 07:22:28

使用的是HIVE，所以无法使用计数器…

图文精华