配置Spark集群之外的一个客户端

我想在Spark集群之外的一台机器上配置Spark的客户端，提交应用都在这台客户端上提交。我把集群中Spark的tar包拉下来放到客户端的那台上，并解压修改spark-env.sh文件，添加如下：
export HADOOP_HOME=/home/bigdata/deploy/hadoop-2.5.0-cdh5.3.8
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_CLASSPATH=$HADOOP_HOME/share/hadoop/common/lib/*


然后在这台客户端上提交我的应用，但报了如下的错误：
17/04/13 18:22:50 ERROR yarn.ApplicationMaster: Failed to connect to driver at 10.20.216.136:53779, retrying ...17/04/13 18:22:50 ERROR yarn.ApplicationMaster: Failed to connect to driver at 10.20.216.136:53779, retrying ...17/04/13 18:22:51 ERROR yarn.ApplicationMaster: Failed to connect to driver at 10.20.216.136:53779, retrying ...17/04/13 18:22:51 ERROR yarn.ApplicationMaster: Failed to connect to driver at 10.20.216.136:53779, retrying ...17/04/13 18:22:51 ERROR yarn.ApplicationMaster: Failed to connect to driver at 10.20.216.136:53779, retrying ...17/04/13 18:22:51 ERROR yarn.ApplicationMaster: Failed to connect to driver at 10.20.216.136:53779, retrying ...17/04/13 18:22:52 ERROR yarn.ApplicationMaster: Failed to connect to driver at 10.20.216.136:53779, retrying ...17/04/13 18:22:53 ERROR yarn.ApplicationMaster: Failed to connect to driver at 10.20.216.136:53779, retrying ...17/04/13 18:22:54 ERROR yarn.ApplicationMaster: Failed to connect to driver at 10.20.216.136:53779, retrying ...17/04/13 18:22:55 ERROR yarn.ApplicationMaster: Failed to connect to driver at 10.20.216.136:53779, retrying ...想问一下，如何配置一台spark的客户端

这个是不存在的。
要么在开发环境中远程提交。
要么楼主就选择其中一台机器，就用它提交即可。
其实还有两种办法，但是有难度：
1.模拟开发环境中的远程提交。
2.通过配置yarn，使其在跑程序的时候，不分配任务，其实这就是不参与集群运算，但是跟集群是相连的。也就是楼主所谓的客户端了。

einhep 发表于 2017-4-13 20:19
这个是不存在的。
要么在开发环境中远程提交。
要么楼主就选择其中一台机器，就用它提交即可。

你说的第二种方式是不用yarn的资源进行提交吗？

zstu 发表于 2017-4-14 08:48
你说的第二种方式是不用yarn的资源进行提交吗？

用yarn的，因为yarn有一个标签的调度机制。可以指定机器运行什么任务。
楼主可以利用这种机制来实现。
更多参考
Hadoop（2.2和2.6） YARN新特性—指定运行节点且能同时运行spark及mapreduce
http://www.aboutyun.com/forum.php?mod=viewthread&tid=12129