spark任务 在spark-shell上能跑，但是在spark-submit上报错

cnhu 发表于 2015-5-21 10:38
**** 作者被禁止或删除 内容自动屏蔽 ****

16/05/19 11:45:12 ERROR SparkDeploySchedulerBackend: Application has been killed. Reason: All masters are unresponsive! Giving up.
16/05/19 11:45:12 WARN SparkDeploySchedulerBackend: Application ID is not initialized yet.
16/05/19 11:45:12 ERROR TaskSchedulerImpl: Exiting due to error from cluster scheduler: All masters are unresponsive! Giving up.


遇到同样的问题

cnhu 发表于 2015-5-21 10:38
**** 作者被禁止或删除 内容自动屏蔽 ****

原因不少比如1.网络原因
主机主机名和ip是否配置正确
还有
查看SparkContext获取的上下文信息, 如下操作：

./spark-shell

sc.getConf.getAll.foreach(println)
sc.getConf.toDebugString
2.因为内存的原因
spark-env.sh 文件配置如下：
export JAVA_HOME=/usr/java/jdk1.7.0_60
export SCALA_HOME=/usr/local/scala
export SPARK_MASTER_IP=192.168.1.128
export SPARK_WORKER_MEMORY=100m
export HADOOP_CONF_DIR=/home/hadoop/hadoop-2.6.0/etc/hadoop
export MASTER=spark://192.168.1.128:7077


因为我的集群环境，每个节点只剩下500MB内存了，由于我没有配置SPARK_EXECUTOR_MEMORY参数，默认会使用1G内存，所以会出现内存不足，从而出现上面日志报的警告信息。
所以解决办法是添加如下参数：
export SPARK_EXECUTOR_MEMORY=100M


3.之前的程序已运行，导致 端口号被占用，