【解决】关于对CPU的资源使用问题

请问：我的每个节点CPU是两核，所以我的yarn.nodemanager.resource.cpu-vcores这个属性设置的就是为2，因为节点实际上只有2core嘛，而我们一个MAP是要使用一个core。

那么是否代表map是要受cpu 的core的限制，只能同时两个map进行并行运算？

我是否可以提高nodeManager的core数量？  这样速度就快多了？


2014年12月30日编辑：
这个问题也算是解决了吧，需要让我研究的是，物理内核与物理内核怎么样的比例才是最佳的呢？ 我感觉根据内存是有关系的。

map是程序，yarn是hadoop的资源管理器，在运行mapreduce的时候，yarn会分配资源，比如内存、磁盘，理论上还会有网络等资源。
所以map在运行的时候，会向yarn申请资源。

所以yarn是可以配置内核，而map我们目前还不能配置这个资源（目前还未发现）

提高nodeManager的core数量也就提高了yarn的数量，这个会提高mapreduce或则其它运行在yarn的程序的性能。

muyannian 发表于 2014-12-24 13:32
map是程序，yarn是hadoop的资源管理器，在运行mapreduce的时候，yarn会分配资源，比如内存、磁盘，理论上还 ...

Map是可以配置使用的虚拟CPU的。mapreduce.map.cpu.vcores   是这个属性。 对了，我用的是CDH5.2.0。貌似对应的是hadoop2.5.x。
我现在节点物理CPU是2core，我试着给Nodemanager3core ，做一下测试，对比一起使用。

从监控上来看，我发现3core比2core内存使用率高一些。 因为3core代表可以起3个MAP，2core就只能2个MAP。。。