专题 › HDFS › hdfs 内存增加

hadoop小象 发表于 2014-12-10 16:45:55

hdfs 内存增加

在使用hdfs fs -ls /命令时，报java.lang.OutputMemoryError: GC overhead limit exceed异常，显然是内存不够，大神们怎么解决呢？

muyannian 发表于 2014-12-10 17:15:23

加载了太多资源到内存，gc时间消耗的较多。
解决这种问题两种方法是，增加参数，-XX:-UseGCOverheadLimit，关闭这个特性，同时增加heap大小，-Xmx1024m。

muyannian 发表于 2014-12-10 17:16:41

hadoop heap 修改参考下面：

hadoop的内存heap大小的配置参数 .


Hadoop运行Mapreduce作业时报错：java.lang.OutOfMemoryError: Java heap space


hadoop使用中出现Java heap space解决方案汇总

hadoop小象 发表于 2014-12-10 17:17:42

muyannian 发表于 2014-12-10 17:15
加载了太多资源到内存，gc时间消耗的较多。
解决这种问题两种方法是，增加参数，-XX:-UseGCOverheadLim ...

能不能说说具体怎么做呀，网上说使用 Java -xms1024m -Xmx4096，可我那没法使用这命令呀，谢谢

hadoop小象 发表于 2014-12-11 09:31:29

muyannian 发表于 2014-12-10 17:15
加载了太多资源到内存，gc时间消耗的较多。
解决这种问题两种方法是，增加参数，-XX:-UseGCOverheadLim ...

我在hadoop-env.sh中修改heapsize，增加到3000，发现解决不了问题，另一个useGCOverheadlimt在哪修改呢，谢谢

muyannian 发表于 2014-12-11 12:36:24

hadoop小象 发表于 2014-12-11 09:31
我在hadoop-env.sh中修改heapsize，增加到3000，发现解决不了问题，另一个useGCOverheadlimt在哪修改呢， ...

在jvm启动参数中添加 "-XX:-UseGCOverheadLimit"，该参数在JDK6中默认启用("-XX:+UseGCOverheadLimit")。

muyannian 发表于 2014-12-11 12:38:36

hadoop小象 发表于 2014-12-11 09:31
我在hadoop-env.sh中修改heapsize，增加到3000，发现解决不了问题，另一个useGCOverheadlimt在哪修改呢， ...

下面例子，可参考　

JAVA_OPTS='-Xms512m -Xmx4096m -XX:MaxPermSize=128m -XX:-UseGCOverheadLimit -XX:+UseConcMarkSweepGC'

hadoop小象 发表于 2014-12-12 08:48:52

muyannian 发表于 2014-12-11 12:38
下面例子，可参考　

JAVA_OPTS='-Xms512m -Xmx4096m -XX:MaxPermSize=128m -XX:-UseGCOverheadLimit - ...

嗯，搞定了，谢谢

EASONLIU 发表于 2014-12-16 22:46:34

学习了~~~~~~~~

查看完整版本: hdfs 内存增加