lenovoyufeilil 发表于 2017-3-8 17:59:30

有什么好的办法真正隔离CPU、内存、IO和网络等资源？

docker和mesos对资源管理底层都是使用CGroup，但是CGroup的方式比较暴力，有没有一个好的办法使资源超限制在阈值而不kill掉？

主要是希望hadoop spark hbase这些能够共存在一台机器上并能无干扰运行

easthome001 发表于 2017-3-8 18:31:26

hadoop spark hbase这些不用任何隔离，也是可以运行在同一台机器上的。
目前容器比较好的，流行的就是docker了。以前用虚拟机。

lenovoyufeilil 发表于 2017-3-9 10:33:29

easthome001 发表于 2017-3-8 18:31
hadoop spark hbase这些不用任何隔离，也是可以运行在同一台机器上的。
目前容器比较好的，流行的就是dock ...

这只能是用来学习玩玩啊,我想的是如何能够在生产环境下,这些框架能够部署在一套集群上。主要的问题是，当spark在跑任务的时候，hbase的某个操作可能把CPU全部吃光,那spark任务就没办法跑了。如果CGroup能够像真正的物理机一样分割资源就好了，给你8G内存就只能用8G，多一点都没有。docker底层也是CGroup，超过阈值就kill掉，太简单粗暴。。

easthome001 发表于 2017-3-9 14:18:33

lenovoyufeilil 发表于 2017-3-9 10:33
这只能是用来学习玩玩啊,我想的是如何能够在生产环境下,这些框架能够部署在一套集群上。主要的问题是，当 ...

可以使用yarn，会隔离spark，hadoop，storm等使用的资源
推荐参考
yarn资源隔离：基于标签的调度


lenovoyufeilil 发表于 2017-3-15 10:24:47

easthome001 发表于 2017-3-9 14:18
可以使用yarn，会隔离spark，hadoop，storm等使用的资源
推荐参考
yarn资源隔离：基于标签的调度

谢谢,这篇文章我看完了,挺有帮助的
页: [1]
查看完整版本: 有什么好的办法真正隔离CPU、内存、IO和网络等资源？