分享

java代码调用spark代码,local可以正常运行,集群运行jar包提示如下错误

ltne 发表于 2016-11-30 09:31:37 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 3 12017
local模式下用idea直接运行或者打成jar包都可以运行,但是用standalone cluster提交就会出现类不存在问题,如下截图,请大神指导,大神们用java间隔执行spark任务该怎么做,求指导!跪谢

1.png

2.png

3.png


补充内容 (2016-12-1 10:08):
上面提示缺少的类是自己编写的程序主类,问题找到了,因为是用java程序定期调用spark任务,所以用java -jar执行的jar导致的问题,用spark-submit提交jar就可以的啦,谢谢大家

已有(3)人评论

跳转到指定楼层
einhep 发表于 2016-11-30 09:51:11
为啥还打马赛克。
那就是可能是环境配置的问题。
回复

使用道具 举报

ltne 发表于 2016-11-30 10:01:19
einhep 发表于 2016-11-30 09:51
为啥还打马赛克。
那就是可能是环境配置的问题。

是公司的一个阿里云的集群,只能打马赛克了,具体是什么配置问题呢,有什么建议吗,因为用集群模式跑spark本身自带的样例是通过的,应该配置也是没有问题的才对!另外如果把其他依赖的包都打成一个jar包,会出现签名问题,这个有什么建议吗?
回复

使用道具 举报

nextuser 发表于 2016-11-30 13:52:15
ltne 发表于 2016-11-30 10:01
是公司的一个阿里云的集群,只能打马赛克了,具体是什么配置问题呢,有什么建议吗,因为用集群模式跑spar ...

可能是楼主开发用的包,在集群上有问题。
因为看不到是缺哪个包,楼主可以搜一下。把相关包添加进去应该就可以了
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条