整理讨论：一个hadoop集群中，如果节点的内存偏小，在处理一些大文件任务时，是时...
缘起缘灭：请教一个问题，一个hadoop集群中，如果节点的内存偏小，在处理一些大文件任务时，是时间花得更长一点还是任务压根没法执行
枫竹斋：
你若是采用hive类似组建可以时间变长
要是impala这样依赖内存的组建会报内存溢出
执行不了
Clean：
提交的资源大于申请资源的最大值，执行不了
缘起缘灭：
我就是用的hive，在查询一个大文件的行数时，子节点的nodemanager进程老是崩溃
但不知道如何确定是不是机器的内存不够
Clean：
看一下yarn-site和mapreduce-site的资源配置
404：
看下log不就知道原因了
缘起缘灭：
日志里有很多
2016-01-15 17:02:51,634 INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.monitor.ContainersMonitorImpl: Memory usage of ProcessTree 26436 for container-id container_1452847522275_0004_01_000004: 259.2 MB of 1.5 GB physical memory used; 844.8 MB of 3.1 GB virtual memory used
这种信息，是不是可以确定机器内存不够了
404：
内存不足
缘起缘灭：
怎么加大
枫竹斋
因为内存不足分配容器不够
斯塔尼亚
yarn.nodemanager.resource.memory-mb
缘起缘灭
这个值是不是一定要设成物理内存的大小
斯塔尼亚
不是
你物理内存还要留给系统点呢对吧
如果不止有yarn管理的东西，还有其他东西依赖的呢
缘起缘灭
那就是要设得比物理内存小点吗？
感谢各位，试了一下，把yarn.nodemanager.resource.memory-mb的值设得小一点后程序就正常了
#######################################################
总结：
日志里有很多
2016-01-15 17:02:51,634 INFO org.apache.hadoop.yarn.server.nodemanager.containermanager.monitor.ContainersMonitorImpl: Memory usage of ProcessTree 26436 for container-id container_1452847522275_0004_01_000004: 259.2 MB of 1.5 GB physical memory used; 844.8 MB of 3.1 GB virtual memory used
像这种信息不一定是不够，而是由于yarn.nodemanager.resource.memory-mb与实际的物理内存不符或则设置过大造成的
页:
[1]