下面是关于监控方面的一些资料，仅供楼主参考

首先spark有自带的。比如

Spark streaming 的监控和优化
http://www.aboutyun.com/forum.php?mod=viewthread&tid=16683


当然还有Ambari 监控
想安装一个hadoop监控Ambari
http://www.aboutyun.com/forum.php?mod=viewthread&tid=12693


还有ganglia和nagios结合，参考


完美集群监控组合ganglia和nagios
http://www.aboutyun.com/forum.php?mod=viewthread&tid=6790


上面其实都有企业使用，看看哪个更适合自己。