让cloudera manager装的spark支持hql【分享】

如何编译spark源码 的assembly来支持hive前面的文章已经介绍过，如果你是用cm装的搭建的集群：
第一步：在cm 中的spark service里指定gateway为你要使用spark命令行的节点。



第二步：将assembly jar上传到hdfs



第三步：在spark的服务范围中修改以下配置为你在hdfs上的assembly jar



第四步：spark gateway的高级配置中配置以下内容（spark.yarn.jar将路径修改为你自己的具体hdfs path ,,spark env中export HADOOP_CONF_DIR为hive的conf目录）



第五部：将编译好的jar包放到/opt/cloudera/parcels/CDH/lib/spark/lib下面，然后将原来的spark-assembly.jar软链接删除，重新创建软链接ln -s spark-assembly-with-hive-cdh5.3.0.jar spark-assembly.jar，指向你自己编译的支持hive的jar包。
然后你就可以在$SPARK_HOME/bin目录下面运行./spark-sql了。

还没用过这个呢