整理讨论：一个hadoop集群中，如果节点的内存偏小，在处理一些大文件任务时，是时...

缘起缘灭：
请教一个问题，一个hadoop集群中，如果节点的内存偏小，在处理一些大文件任务时，是时间花得更长一点还是任务压根没法执行

枫竹斋：

你若是采用hive类似组建可以时间变长

要是impala这样依赖内存的组建会报内存溢出

执行不了


Clean：

提交的资源大于申请资源的最大值，执行不了


缘起缘灭：

我就是用的hive，在查询一个大文件的行数时，子节点的nodemanager进程老是崩溃

但不知道如何确定是不是机器的内存不够


Clean：


看一下yarn-site和mapreduce-site的资源配置


404：


看下log不就知道原因了


缘起缘灭：


日志里有很多
2016-01-15 17:02:51,634 INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.monitor.ContainersMonitorImpl: Memory usage of ProcessTree 26436      for container-id container_1452847522275_0004_01_000004: 259.2 MB of 1.5 GB physical memory used; 844.8 MB of 3.1 GB virtual memory used
这种信息，是不是可以确定机器内存不够了


404：
内存不足


缘起缘灭：

怎么加大
枫竹斋



因为内存不足分配容器不够

斯塔尼亚


yarn.nodemanager.resource.memory-mb


缘起缘灭

这个值是不是一定要设成物理内存的大小


斯塔尼亚

不是

你物理内存还要留给系统点呢对吧

如果不止有yarn管理的东西，还有其他东西依赖的呢


缘起缘灭


那就是要设得比物理内存小点吗？


感谢各位，试了一下，把yarn.nodemanager.resource.memory-mb的值设得小一点后程序就正常了



#######################################################
总结：

日志里有很多
2016-01-15 17:02:51,634 INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.monitor.ContainersMonitorImpl: Memory usage of ProcessTree 26436      for container-id container_1452847522275_0004_01_000004: 259.2 MB of 1.5 GB physical memory used; 844.8 MB of 3.1 GB virtual memory used
像这种信息不一定是不够，而是由于yarn.nodemanager.resource.memory-mb与实际的物理内存不符或则设置过大造成的