立即注册 登录
About云 返回首页

howtodown的个人空间 https://aboutyun.com/?19 [收藏] [复制] [分享] [RSS]

日志

编译支持hive的spark assembly

热度 1已有 2226 次阅读2015-3-18 11:59

原生的spark assembly jar是不依赖hive的,如果要使用spark hql必须将hive相关的依赖包打到spark assembly jar中来。打包方法:

假设已经装好了maven,

1添加环境变量,如果jvm的这些配置太小的话,可能导致在编译过程中出现OOM,因此放大一些:

export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"


2 cd到spark源码目录,执行:

mvn -Pyarn -Dhadoop.version=2.5.0-cdh5.3.0  -Dscala-2.10.4 -Phive -Phive-thriftserver   -DskipTests clean package

(其实好像用cdh版本的只要写 mvn -Phive -DskipTests clean package就可以了)

注意hadoop.version和scala的版本设置成对应的版本

经过漫长的编译过程(我编译了2个半小时),最终成功了,在assembly/target/scala-2.10目录下面有spark-assembly-1.2.0-cdh5.3.0-hadoop2.5.0-cdh5.3.0.jar文件,用rar打开看看hive jdbc package有没有包含在里面,有的话说明编译成功了。


路过

雷人

握手

鲜花

鸡蛋

发表评论 评论 (1 个评论)

回复 AnonYmous_shY 2016-3-25 15:19
博主我想问下我总编译不成功除了网络问题,有没有可能是cdh编译包的问题?

facelist doodle 涂鸦板

您需要登录后才可以评论 登录 | 立即注册

关闭

推荐上一条 /2 下一条