desehawk 发表于 2018-3-12 17:46:48

spark2使用遇到问题总结


此总结来自about云7群552029443



####
看到群友,在使用spark2的时候,仍然使用的是spark1.x的函数。导致错误找不到类或则初始化失败。
首先spark2已经使用了SparkSession。
SparkSession是非常方便了。
例如该如何使用hive加上enableHiveSupport.
但是在远程连接hive,也就是spark读取hive表的时候,很多人读取不到,如下程序。



这时候我们可以在代码中加上thrift属性




这样既可读取hive表成功。

####


飞哥
waiyou148@126.com

进击的阿飞 发表于 2018-4-13 17:00:55

学习了,多谢楼主~~
页: [1]
查看完整版本: spark2使用遇到问题总结