远程执行程序总是显示：java.io.IOException: Could not acquire 65536 bytes of m...

spark在Hadoop集群远程执行程序总是显示：java.io.IOException: Could not acquire 65536 bytes of memory 这个怎么解决，有没有遇到过的

s060403072 · 发表于 2016-3-11 19:33:22

内存不够了吧

atsky123 · 发表于 2016-3-11 19:38:19

设置下jvm更大一些或则设置

"spark.shuffle.memoryFraction"(0.2 by default) and "spark.shuffle.safetyFraction"(0.8 by default).

credit · 发表于 2016-3-14 08:56:33

atsky123 发表于 2016-3-11 19:38
设置下jvm更大一些或则设置

"spark.shuffle.memoryFraction"(0.2 by default) and "spark.shuffle.safe ...

大神这个在哪里设置呢

图文精华