About云-梭伦科技»专题 › 交流区 › 技术交流 › Spark › 用IDEA开发spark，应该如何提交任务到YARN上？

用IDEA开发spark，应该如何提交任务到YARN上？

查看数: 33775 | 评论数: 5 | 收藏 0

关灯 | 提示：支持键盘翻页<-左右->

帖子模式

CoderLeonard

发布时间: 2016-11-17 15:30

正文摘要:

今天在cloudera上部署了spark on YARN，查看spark的状态，发现Gateway全部是灰色，而且都是“不适用”的状态，在网上搜了一下，也没人有具体说明这是装成功了还是装失败了：尝试着启动spark-shell，是可 ...

CoderLeonard 发表于 2016-11-18 10:26:44

desehawk 发表于 2016-11-17 18:55
楼主设置的jar最好是远程服务器的，还有master也未设置。

楼主参考这篇，应该有一定的帮助

谢谢你的帮助！
你发给我的帖子我之前看过，我部署的spark是 spark on yarn的，没有standalone中的master和slave的概念，所以帖子中的方法并不适合我。
我昨天自己折腾了一天，发现在windows上，似乎没有办法在IDEA中直接提交job到YARN集群，只能用local模式先本地调试，没问题后再打包到集群中，然后用spark-submit --master yarn-cluster的方式运行。
或者在集群的节点上运行spark-shell --master yarn-client 把代码粘过来运行。
目前我所知的，就是这两种方法，也许在linux环境下，IDEA可以直接提交，以后有机会装个虚拟机试试。