spark如何内存设置

我有10台 2CPU,24线程，128内存，内存，CORS,INSTANS该如何设置，求帮忙

xuanxufeng · 发表于 2015-11-29 19:58:08

spark.cores.max

当应用程序运行在Standalone集群或者粗粒度共享模式Mesos集群时，应用程序向集群请求的最大CPU内核总数（不是指每台机器，而是整个集群）。如果不设置，对于Standalone集群将使用spark.deploy.defaultCores中数值，而Mesos将使用集群中可用的内核

如果最大的，楼主可以把所有内核加起来。
INSTANS是指什么

ananan36 · 发表于 2015-11-30 16:51:28

xuanxufeng 发表于 2015-11-29 19:58
spark.cores.max

当应用程序运行在Standalone集群或者粗粒度共享模式Mesos集群时，应用程序向集群请求的 ...

指SPARK_WORKER_INSTANCES，设置SPARK_WORKER_INSTANCES=1 SPARK_WORKER_MEMORY=40好，还是SPARK_WORKER_INSTANCES=4 SPARK_WORKER_MEMORY=10G好

ananan36 · 发表于 2015-12-1 10:04:10

继续顶

starrycheng · 发表于 2016-11-15 15:26:56

ananan36 发表于 2015-11-30 16:51
指SPARK_WORKER_INSTANCES，设置SPARK_WORKER_INSTANCES=1 SPARK_WORKER_MEMORY=40好，还是SPARK_WORKER_ ...

如果数据量大SPARK_WORKER_INSTANCES=4 SPARK_WORKER_MEMORY=10G就采用这种方案

设置SPARK_WORKER_INSTANCES=1 SPARK_WORKER_MEMORY=40
数据量小可以采用这种方案

ggggying12 · 发表于 2017-2-22 18:21:15

好好学习，天天向上

图文精华

spark如何内存设置

已有(5)人评论

推荐 /2