分享

MapReduce性能剖析工具

langke93 发表于 2013-10-26 15:12:18 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 1 6149
各位大侠好,我是刚开始接触Hadoop,最近在用MapReduce编程,但想剖析下一个job的性能,不知该利用啥工具吗?还望多多指教,不胜感激...

已有(1)人评论

跳转到指定楼层
kaif22 发表于 2013-10-26 15:12:18
你是想收集hadoop logs吗?还是剖析hadoop logs吗?
hadoop提供6中log,每种所提供的信息都不一样。不知道你是想剖析啥性能。
这些logs很好收集,你可以去看你的配置文件,就会知道他们在哪里。
但是要剖析的话,目前hadoop给了一个tool叫rumen,但是我的版本21用rumen一直都有。。。
另外CMU研发过一个叫Mochi的东西,也可以analyse logs,但是我没有用过
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条