分享

spark on yarn mysql找不到驱动的错误

guxingyu 发表于 2016-6-1 10:11:55 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 8 23063
我提交的命令为
spark-submit --master yarn-cluster --driver-class-path /home/hadoop/mysql-connector-java-5.1.30.jar --jars /home/hadoop/mysql-connector-java-5.1.30.jar --class com.hbase.example.HBaseWDTest /home/hadoop/sparkKafka.jar yarn-cluster 20160420 20160421
而且在集群的每台机子的/home/hadoop下面 添加了 mysql-connector-java-5.1.30.jar ,运行命令最终还是报找不到驱动包的错误
我尝试过很多次
1.分别加单独的 --driver-class-path /home/hadoop/mysql-connector-java-5.1.30.jar  或者   --jars /home/hadoop/mysql-connector-java-5.1.30.jar
  一样报找不到驱动包的错误
2.我尝试将mysql的驱动包加入到 spark默认的classpath下面,一样的 报找不到驱动包

但是将上面的命令 yarn-cluster 模式换成local模式  执行正常。
这到底要怎么解决,我也是醉了,有哪位大侠碰到过,帮忙解决一下,谢谢
另外:我的spark用的是cdh5.5.1-spark1.5.0

已有(8)人评论

跳转到指定楼层
xw2016 发表于 2016-6-1 13:52:45
等等,待我研究到这里先
回复

使用道具 举报

langke93 发表于 2016-6-1 14:38:08
看看相关文件权限是否足够。最好放到spark库路径里
可以在spark安装包的conf/spark-env.sh通过配置SPARK_CLASSPATH来设置driver的环境变量,如下
export SPARK_CLASSPATH=$SPARK_CLASSPATH:/lib/com/mysql-connector-java-5.1.35.jar


注意不能同时在conf/spark-env.sh里面配置SPARK_CLASSPATH和提交作业加上--driver-class-path参数,否则会出现异常:


回复

使用道具 举报

guxingyu 发表于 2016-6-1 17:57:21
langke93 发表于 2016-6-1 14:38
看看相关文件权限是否足够。最好放到spark库路径里
可以在spark安装包的conf/spark-env.sh通过配置SPARK_ ...

我按照你的方式试了一下,而且权限也都没有问题了,仍然报找不到驱动的异常
异常如下:Diagnostics:                                                  User class threw exception: java.sql.SQLException: No suitable driver found for jdbc:mysql://192.168.0.85:3306/BISTORE_TEST?user=bimeta_test&password=bimeta_test
这问题我也是醉了

回复

使用道具 举报

langke93 发表于 2016-6-1 20:07:49
guxingyu 发表于 2016-6-1 17:57
我按照你的方式试了一下,而且权限也都没有问题了,仍然报找不到驱动的异常
异常如下:Diagnostics:     ...

驱动的版本是否匹配
回复

使用道具 举报

guxingyu 发表于 2016-6-2 08:33:49
langke93 发表于 2016-6-1 20:07
驱动的版本是否匹配

驱动的版本我一开始用的 6.0.2的 结果local模式都不行,后来换成5.1.30的版本 local模式可以运行,但是yarn集群模式就是报错,找不到驱动包

回复

使用道具 举报

xbyang 发表于 2016-9-20 14:59:28
请问这个问题解决了吗,我也遇到,郁闷 各种试都不行
回复

使用道具 举报

guxingyu 发表于 2016-10-13 15:42:03
xbyang 发表于 2016-9-20 14:59
请问这个问题解决了吗,我也遇到,郁闷 各种试都不行

没有了,后面没有去研究了
回复

使用道具 举报

huwen2117 发表于 2017-7-28 12:57:45
xbyang 发表于 2016-9-20 14:59
请问这个问题解决了吗,我也遇到,郁闷 各种试都不行

将 --driver-class-path 和 --jars 参数都加上就可以了
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条