Tesla 发表于 2018-12-5 10:20:49

Spark2.3/2.4可以直接使用hive2/3的元数据吗，是否需要重新编译

RT
我想搭建一个HADOOP3.0.X+HIVE2.X/3.X+SPARK2.4的环境
请问是否需要对SPARK2.4的源码进行编译，以便于支持HIVE2/3

s060403072 发表于 2018-12-5 12:32:10

编译恐怕也不支持，楼主可以查看下pom文件



Tesla 发表于 2018-12-5 14:42:26

s060403072 发表于 2018-12-5 12:32
编译恐怕也不支持，楼主可以查看下pom文件

那我如果改一下pom文件然后重新编译呢？

s060403072 发表于 2018-12-5 15:56:06

Tesla 发表于 2018-12-5 14:42
那我如果改一下pom文件然后重新编译呢？

恐怕不行，如果支持的话，官网源码会在profile添加这个版本。但是似乎并没有找到。当然楼主可以试试。

Tesla 发表于 2019-1-7 09:50:34

s060403072 发表于 2018-12-5 15:56
恐怕不行，如果支持的话，官网源码会在profile添加这个版本。但是似乎并没有找到。当然楼主可以试试。

已测试，无论是否重新编译源码 都可以使用hive3.1.1
且自己编译的代码无需任何特殊参数
页: [1]
查看完整版本: Spark2.3/2.4可以直接使用hive2/3的元数据吗，是否需要重新编译