spark任务执行的时候jar包的加载顺序问题

查看数: 24068 | 评论数: 4 | 收藏 0

关灯 | 提示：支持键盘翻页<-左右->

发布时间: 2016-12-9 15:04

是这样的，项目中用的scala写的spark任务，有用到json与map互转，找到了一个工具：play-json，这个工具是scala写的。项目本地运行测试没问题，发到线上集群其中一个节点，就报了异常：有几个版本的jacks ...

liuyuze_hanbing 发表于 2017-11-30 12:31:38

spark是先启动executor-》启动task-》添加--jars 和主类所在的jar到classloader

nextuser 发表于 2016-12-9 17:26:19

建议把这些包都放到集群环境中，并且都配置环境变量。楼主肯定引用的不全吧。即使引用单纯的这个包，可能还依赖其它包，所以可能出现问题

mjjian0 发表于 2016-12-9 16:56:42

langke93 发表于 2016-12-9 16:55
楼主尝试用这种方法

[mw_shl_code=bash,true]--driver-class-path /opt/gw-job/lib/jackson-core-2.5.4 ...

谢谢，麻烦可以再解释下 --driver-class-path 和--jars的区别吗？
谢啦

langke93 发表于 2016-12-9 16:55:17

楼主尝试用这种方法

[mw_shl_code=bash,true]--driver-class-path /opt/gw-job/lib/jackson-core-2.5.4.jar[/mw_shl_code]

图文精华