standalone和yarn模式提交任务出现问题

standalone模式提交：
./bin/spark-submit --class org.apache.spark.examples.mllib.KMeansExample --master spark://master:7070 examples/jars/spark-examples_2.11-2.0.0.jar
运行自带kmens实例正常运行查看jobhistory发现都是正常的，三个executor都有；

yarn-client提交：
./bin/spark-submit --class org.apache.spark.examples.mllib.KMeansExample --master yarn --deploy-mode client examples/jars/spark-examples_2.11-2.0.0.jar

运行自带kmens实例正常运行出结果，但是所有task都是在一个executor运行的，查看jobhistory只有一个driver和一个executor；
如下图，大神们知道是什么原因吗，是yarn哪里没有配置好吗？

我找到原因了，在spark-env配置了一个export SPARK_WORKER_INSTANCES=1
导致只有一个executor,去除就好了

ltne 发表于 2016-11-15 15:02
我找到原因了，在spark-env配置了一个export SPARK_WORKER_INSTANCES=1
导致只有一个executor,去除就好了

spark内存、核数确定是个难题