分享

在CDH集群上再部署一个mesos是否可行(跟yarn会有冲突吗)

haisongen 发表于 2016-11-2 14:40:08 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 4 9854
    本人平时是使用CDH5集群来工作,现在客户需要我们加上一个mesos来实现监控与资源分配。    一开始觉得有yarn在,并不需要mesos来,但是必须要上。在看了一些方法后,觉得很多都是在只有hadoop的环境下部署,现在是在有yarn的情况下来进行,会不会与yarn有冲突??    求大神、老司机们指点一哈

已有(4)人评论

跳转到指定楼层
xuanxufeng 发表于 2016-11-2 17:37:40
会有冲突的,不过是可以通过Myriad项目来解决的,详细参考

同一个数据中心如何使YARN和Mesos的协调工作
http://www.aboutyun.com/forum.php?mod=viewthread&tid=20178



回复

使用道具 举报

haisongen 发表于 2016-11-2 23:08:50
xuanxufeng 发表于 2016-11-2 17:37
会有冲突的,不过是可以通过Myriad项目来解决的,详细参考

同一个数据中心如何使YARN和Mesos的协调工作
...

十分感谢,我想也许可以从yarn的入手,应该也能实现资源的管理和显示
回复

使用道具 举报

haisongen 发表于 2016-11-7 17:42:16
xuanxufeng 发表于 2016-11-2 17:37
会有冲突的,不过是可以通过Myriad项目来解决的,详细参考

同一个数据中心如何使YARN和Mesos的协调工作
...

十分感谢您的解答!!我还想多问您一下,希望您指点一下。
我们这里需要将每个在yarn中的任务都能可视化,就是在前台中可以对用户显示出他的任务占用了多大内存,多大的CPU,等等,可以从yarn中提取到这些关键信息么?
希望得到您的关键指导,十分感谢!
回复

使用道具 举报

einhep 发表于 2016-11-7 18:55:11
haisongen 发表于 2016-11-7 17:42
十分感谢您的解答!!我还想多问您一下,希望您指点一下。
我们这里需要将每个在yarn中的任务都能可视化 ...

cloudera应该有这方面的监控,对每台机器cpu,网络等显示。但是有没有这么详细就不清楚了。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条