spark的gc在哪里配置，SPARK_DEAMON_JAVA_OPTS貌似不管用

改完SPARK_DEAMON_JAVA_OPTS，在各个节点上ps看进程启动信息，没有我加的gc选项。
正确的做法是在哪里设置gc的参数？

SPARK_DAEMON_JAVA_OPTS的意思是 Spark master 和 worker守护进程的JVM 选项(默认: none)
在spark-env.sh文件中的SPARK_JAVA_OPTS参数上添加
-verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps ，看下GC的详细信息

leo_1989 发表于 2016-4-26 19:23
SPARK_DAEMON_JAVA_OPTS的意思是 Spark master 和 worker守护进程的JVM 选项(默认: none)
在spark-env.sh ...

3q,我试试

gc日志打到哪里了，stderr和stdout都没有

邓立辉 发表于 2016-4-26 20:04
gc日志打到哪里了，stderr和stdout都没有

Spark作业运行时， 可以在日志中看到每一次内存回收的信息

bioger_hit 发表于 2016-4-26 21:27
Spark作业运行时， 可以在日志中看到每一次内存回收的信息

我跑的是spark streaming，我怎么感觉diver的打印了。每个work的日志里没有gc相关的日志。
还有我把每个节点的日志由8g调到4g，反而gc的时间短了很多

邓立辉 发表于 2016-4-26 21:30
我跑的是spark streaming，我怎么感觉diver的打印了。每个work的日志里没有gc相关的日志。
还有我把每 ...

对的，优化下就好了。搜了些资料，希望对楼主有帮助Spark Streaming实践和优化
http://www.aboutyun.com/forum.php?mod=viewthread&tid=17421


Spark大数据处理：技术、应用与性能优化(全)【397页】
http://www.aboutyun.com/forum.php?mod=viewthread&tid=14636
Spark streaming 的监控和优化

http://www.aboutyun.com/forum.php?mod=viewthread&tid=16683