分享

让cloudera manager装的spark支持hql【分享】

wscl1213 发表于 2016-1-12 18:43:42 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 1 10536




如何编译spark源码 的assembly来支持hive前面的文章已经介绍过,如果你是用cm装的搭建的集群:
第一步:在cm 中的spark service里指定gateway为你要使用spark命令行的节点。
1.png


第二步:将assembly jar上传到hdfs
2.png


第三步:在spark的服务范围中修改以下配置为你在hdfs上的assembly jar
3.png


第四步:spark gateway的高级配置中配置以下内容(spark.yarn.jar将路径修改为你自己的具体hdfs path ,,spark env中export HADOOP_CONF_DIR为hive的conf目录)
4.png


第五部:将编译好的jar包放到/opt/cloudera/parcels/CDH/lib/spark/lib下面,然后将原来的spark-assembly.jar软链接删除,重新创建软链接ln -s spark-assembly-with-hive-cdh5.3.0.jar spark-assembly.jar,指向你自己编译的支持hive的jar包。
然后你就可以在$SPARK_HOME/bin目录下面运行./spark-sql了。

已有(1)人评论

跳转到指定楼层
a_zhen 发表于 2016-1-13 10:06:43
还没用过这个呢
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条