分享

spark 怎么同步提交应用?

ab0412 发表于 2015-9-6 16:59:53 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 5 11690
请问,spark 怎么同步提交应用?我知道可以sparksubmit,但怎么知道应用执行成功和失败?

已有(5)人评论

跳转到指定楼层
arsenduan 发表于 2015-9-6 17:24:57


给楼主举个例子

spark 提交到yarn
在命令行输入如下命令:
[mw_shl_code=bash,true]./spark-submit  --class SparkSQLTest --master spark:hadoop1:7077 --executor-memory 2g --num-executors 3  /home/kaiseu/MyProject/IdeaProjects/SparkProject/Saprk131/out/artifacts/SparkSQLTest_jar/SparkSQLTest.jar[/mw_shl_code]

1.png

在web监控界面可以看到:

2.png
运行结果 结果如下:
3.png




回复

使用道具 举报

ab0412 发表于 2015-9-6 18:22:11
这个方法我知道 ,但我想要知道  能通过程序获取应用的执行结果吗?不看UI。
回复

使用道具 举报

ab0412 发表于 2015-9-6 19:08:08
了解了下  ,貌似可以通过sparklistener 监听到
回复

使用道具 举报

desehawk 发表于 2015-9-6 19:16:03
ab0412 发表于 2015-9-6 19:08
了解了下  ,貌似可以通过sparklistener 监听到

SparkListener接口来监听任务执行期间的各种事件,可以实现一个Listener来监控任务执行进度以及收集任务级别的统计信息(目前任务级别的统计由SparkListener采集,任务进度则由Spark提供的专门的API来监控)。

这个似乎只是用来监控的。

至于获取数据,应该可以从spark的输出文件中读取
回复

使用道具 举报

desehawk 发表于 2015-9-6 19:17:31
只供参考,希望有些帮助
http://www.aboutyun.com/blog-57-1792.html
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条