intellij idea开发的spark应用spark-submit提交正常运行，直接在idea提交有问题

ltne · 发表于 2016-11-14 12:45:54

看到一些网上资料是driver启动在本地，executor在远程云上，导致两个ip不再同一个网段，这里存在通信问题，就是不知道这个问题该如何处理

玉溪 · 发表于 2016-11-14 14:19:08

你提交任何后，在Running Applications 里有没有？

ltne · 发表于 2016-11-15 14:38:48

玉溪发表于 2016-11-14 14:19
你提交任何后，在Running Applications 里有没有？

是没有的，询问了一个大神，他说就是不能本地和集群直接交互的，因为本地和云集群的ip不再一个网段，而如果用虚拟机集群在一个网段则可以

kxiaozhuk · 发表于 2016-11-22 11:24:03

本地调试运行的时候应该是conf.setMaster(local[2])

yifan · 发表于 2017-2-27 19:57:55

这个问题楼主解决了吗

图文精华