求问怎么设置sparksql读取hive的数据库

yangyixin 发表于 2017-7-7 16:23
有在试，帖子中说这样编译，但是我的spark目录下没有这个脚本啊，连lib目录都没有

./make-distributio ...

./make-distribution.sh --tgz -PHadoop-2.2 -Pyarn -DskipTests -Dhadoop.version=2.6.0-cdh5.4.4 -Phive
这里是源码目录。

langke93 发表于 2017-7-7 16:36
./make-distribution.sh --tgz -PHadoop-2.2 -Pyarn -DskipTests -Dhadoop.version=2.6.0-cdh5.4.4 -Ph ...

就是我安装的spark目录。。。吧是不是和版本有关系，，，，没有啊。。
不好意思，是小白，很多基础知识都在恶补中，谢谢您啦

langke93 发表于 2017-7-7 16:32
spark都有的lib的。

我的hive目录下有，spark目录下没有
我的spark版本是2.1.0

我代码里面按官网这么写能访问，不用额外编译什么源码
[mw_shl_code=java,true]val sc = SparkSession.builder()
      .master("yarn")
      .appName("soure data parser to base")
      .config("spark.sql.warehouse.dir", "spark-warehouse")
      .config("hive.metastore.uris", "thrift://master:9083")
      .enableHiveSupport()
      .getOrCreate()[/mw_shl_code]

J20_果农 发表于 2017-7-7 21:37
我代码里面按官网这么写能访问，不用额外编译什么源码
[mw_shl_code=java,true]val sc = SparkSession.bui ...

我也跟官网里看了，因为我现在是不想写代码进去，想直接从spark-sql直接用hql语句访问hive的数据库，所以就应该调整一下属性吧，就是不知道怎么弄，官网说调整属性我也不知道这也在哪修改。

官方文档中说 Note that the hive.metastore.warehouse.dir property in hive-site.xml is deprecated since Spark 2.0.0. Instead, use spark.sql.warehouse.dir to specify the default location of database in warehouse. You may need to grant write privilege to the user who starts the Spark application.

这个属性已经弃用了，，所以我配置一直不成功，，，还在摸索中，，，，求大神解救

<property>
                <name>hive.metastore.warehouse.dir</name>
                <value>hdfs://master:9000/user/hive/warehouse</value>
</property>

yangyixin 发表于 2017-7-8 21:57
官方文档中说 Note that the hive.metastore.warehouse.dir property in hive-site.xml is deprecated si ...

在配置文件中更换即可.本地的配置文件一般读取不到，最好在代码中实现。
如果是shell，直接修改配置文件应该可以的。
如果还没有实现，可以贴出错误来看看

J20_果农 发表于 2017-7-7 21:37
我代码里面按官网这么写能访问，不用额外编译什么源码
[mw_shl_code=java,true]val sc = SparkSession.bui ...

您好 ，我想问下这一条，.config("spark.sql.warehouse.dir", "spark-warehouse")

我在shell里创建表的时候，就直接创建到本地的spark-warehouse里了，并读不了hive的数据库，我怎么查看我默认的spark-warehouse在哪儿，能不能做出修改，修改的和hive的一样啊？

yangyixin 发表于 2017-7-11 18:49
您好 ，我想问下这一条，.config("spark.sql.warehouse.dir", "spark-warehouse")

我在shell里创建表 ...

这是因为找不到hive-site.xml文件，所以才会在本地创建

yangyixin 发表于 2017-7-7 16:03
官方文档的说法如下，求问怎么去设置这些属性啊，在哪设置啊
和不同版本的Hive Metastore交互

请问下你这里说的官方文档是在哪查看的？谢谢