intellij idea开发的spark应用spark-submit提交正常运行，直接在idea提交有问题

这个问题我也经常遇到，在自己的vm集群里。这个时候要关掉所有的spark-shell 和 spark-sql。idea就可以正常执行了。

SPARK_WORKER_INSTANCES=1 如果服务器资源够的话 这个可以加大 就可以了

einhep 发表于 2016-11-11 19:35
SPARK_MASTER_IP 和SPARK_LOCAL_IP
这些都是怎么配置的

SPARK_MASTER_IP 设置的为master的ip
每个节点上SPARK_LOCAL_IP 为本节点的ip

玉溪 发表于 2016-11-12 13:31
SPARK_WORKER_INSTANCES=1 如果服务器资源够的话 这个可以加大 就可以了

是设置的SPARK_WORKER_INSTANCES=1

玉溪 发表于 2016-11-12 11:49
这个问题我也经常遇到，在自己的vm集群里。这个时候要关掉所有的spark-shell 和 spark-sql。idea就可以正常 ...

spark-shell和spark-sql一直没有使用，是关闭的

arsenduan 发表于 2016-11-11 19:26
在开发环境中提交，尝试去掉下面代码
conf.setJars(List("D:\\spark_test\\123\\out\\artifacts\\123_jar\ ...

idea直接run运行提交到集群必须加这个setJars吧，删除也是一样的错误

玉溪 发表于 2016-11-13 10:30
WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure  ...

资源是充足的，每个节点3G内存，只用了1G，而且jar包直接用spark-sbumit是可以执行的

你用的时候，肯定开了其他的shaprk-shell 连在集群上。你先用spark-shell 执行程序看看 肯定也是WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure  ...

玉溪 发表于 2016-11-14 10:19
你用的时候，肯定开了其他的shaprk-shell 连在集群上。你先用spark-shell 执行程序看看 肯定也是WARN TaskS ...

确认过没有spark-shell或者spark-sql在运行的

看到一些网上资料是driver启动在本地，executor在远程云上，导致两个ip不再同一个网段，这里存在通信问题，就是不知道这个问题该如何处理