ananan36 发表于 2015-9-23 08:54:54

mapreduce.map.memory.mb,mapreduce.reduce.memory.mb这2个参数如何设置

mapreduce.map.memory.mb,mapreduce.reduce.memory.mb表示什么？比如mapreduce.map.memory.mb=1024，是不是1个map数就是1024,2个就2048，还有这个大小根据什么来设置

bob007 发表于 2015-9-23 11:23:57

mapreduce.map.memory.mb        默认值：
1024       

进程名称：
MapReduce       

配置文件：

mapred-site.xml       

含义说明：
每个MapReduce作业的map任务可以申请的内存资源数量


######################################

mapreduce.reduce.memory.mb
默认值：
1024       

进程名称：
MapReduce       

配置文件：

mapred-site.xml       

含义说明：
每个MapReduce作业的reduce任务可以申请的内存资源数量


更多参数说明：
hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比
http://www.aboutyun.com/thread-7513-1-1.html




bob007 发表于 2015-9-23 11:25:05

是不是1个map数就是1024？

每个暂1024，两个2048

ananan36 发表于 2015-9-23 14:31:59

bob007 发表于 2015-9-23 11:25
是不是1个map数就是1024？

每个暂1024，两个2048

这个设置多大好，怎么看如何设置

leo_1989 发表于 2015-9-23 21:48:57

ananan36 发表于 2015-9-23 14:31
这个设置多大好，怎么看如何设置

根据自己的实际情况

ananan36 发表于 2015-9-24 08:34:25

leo_1989 发表于 2015-9-23 21:48
根据自己的实际情况

举个例子，如何来判断

evababy 发表于 2017-1-3 22:39:14

mapreduce.map.memory.mb是设置每个map使用内存大小（M），默认1024，这个参数也是控制map数量的关键参数，与yarn.nodemanager.resource.memory-mb和yarn.scheduler.minimum-allocation-mb配合使用
页: [1]
查看完整版本: mapreduce.map.memory.mb,mapreduce.reduce.memory.mb这2个参数如何设置