分享

spark saveAsTable 将DF数据写入hive表之后,在hive客户端查询不到,在Spark-sql可以

ltne 发表于 2018-9-5 15:48:45
查看hive 元数据数据库里面的SDS表,发现用df.saveAsTable 保存的表目录就是file,直接用crate 命令生成的表目录就是hdfs的,该咋处理啊
SDS.jpg
回复

使用道具 举报

ltne 发表于 2018-9-5 17:28:08
问题解决啦
当未由hive-site.xml配置时,上下文将在当前目录中自动创建metastore_db,并创建由spark.sql.warehouse.dir配置的目录,该目录默认为启动Spark应用程序的目录中的spark-warehouse目录 。 请注意,hive-site.xml中的hive.metastore.warehouse.dir属性自Spark 2.0.0以来已弃用。 相反,使用spark.sql.warehouse.dir来指定仓库中数据库的默认位置。 您可能需要向启动Spark应用程序的用户授予写入权限。
因为在hive-site 或者spark-default添加hive.metastore.warehouse.dir  value:/user/hive/warehouse   就可以啦


回复

使用道具 举报

gk091620 发表于 2019-3-26 19:20:54
ltne 发表于 2018-9-5 14:40
我安装的spark是直接官网编译好的,是不是这个导致的,是需要重新编译spark才可以支持hive吗

请问问题解决了吗?怎么解决的呢?
回复

使用道具 举报

zyy186 发表于 2019-5-4 19:21:53
gk091620 发表于 2019-3-26 19:20
请问问题解决了吗?怎么解决的呢?

请问解决了吗,分厂希望可以得到你的解答
回复

使用道具 举报

zyy186 发表于 2019-5-4 19:26:40
ltne 发表于 2018-9-5 17:28
问题解决啦
当未由hive-site.xml配置时,上下文将在当前目录中自动创建metastore_db,并创建由spark.sql. ...

可以说的清楚些吗,具体的解决办法,因为我加了"spark.sql.warehouse.dir","hdfs://master:8020/user/hive/warehouse/" ,还是不行,
非常希望可以得到你的解答,感谢!
回复

使用道具 举报

12
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条