SparkSession Error while instantiating 'org.apache.spark.sql.hive.HiveSession...

hello2018 发表于 2018-5-22 17:31
既然在spring里面，那你spring的一些配置需要放到集群环境。脱离环境直接在上面跑，有问题可能性是非常大 ...

不是的，没有集群没有整合spring ，是开发web的controller的时候，需要调用到sparksql里面的内容，就写了一个spring+spark的代码

zstu 发表于 2018-5-22 17:43
不是的，没有集群没有整合spring ，是开发web的controller的时候，需要调用到sparksql里面的内容，就写了 ...

那你在spring里面需要加入各种spark sql包。而且在spring里面加入，你又怎么提交那？
spring引用到的各种包，你是如何解决的。

hello2018 发表于 2018-5-22 21:11
那你在spring里面需要加入各种spark sql包。而且在spring里面加入，你又怎么提交那？
spring引用到的各 ...

spring和spark的包都是maven管理的，提交时用maven打包，然后java -jar ***.jar 运行，然后在postman发送一个请求来执行sparksql的代码。

zstu 发表于 2018-5-23 09:27
spring和spark的包都是maven管理的，提交时用maven打包，然后java -jar ***.jar 运行，然后在postman发送 ...

是以前一直用这种方式吗？
为何不用hadoop jar的方式

easthome001 发表于 2018-5-23 10:45
是以前一直用这种方式吗？
为何不用hadoop jar的方式

以前不是这种方式 ，以前没跟spring结合，是提了这样的一个需求：界面通过发送一个sql能够读取sparksql中数据并将数据返回，

zstu 发表于 2018-5-23 10:48
以前不是这种方式 ，以前没跟spring结合，是提了这样的一个需求：界面通过发送一个sql能够读取sparksql中 ...

把你的问题，发到了铁粉群里，回答如下：
关键是指这里
[mw_shl_code=bash,true]  .master(master).config("hive.metastore.warehouse.dir", "/user/hive/warehouse").config("spark.sql.warehouse.dir", "/user/hive/warehouse")[/mw_shl_code]

admin 发表于 2018-5-23 12:56
把你的问题，发到了铁粉群里，回答如下：
关键是指这里
[mw_shl_code=bash,true]  .master(master).con ...

谢谢。我把/user/hive/warehouse目录的权限改成777了。还是那样，但我没有从异常看到文件权限有问题啊。 我把enableHiveSupport给删掉，单纯的访问rdd就可以。