使用的版本是spark2.3:
spark发布,都会在官网公布所支持的Scala版本,但是新手开发往往容易忽略这个问题,所以在出现错误的时候,根本无从下手。下面错误是由于Scala版本问题所造成的错误。
Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)
Ljava/lang/Object;
at org.apache.spark.sql.SparkSession$Builder.config(SparkSession.scala:803)
at org.apache.spark.sql.SparkSession$Builder.master(SparkSession.scala:856)
at WordCount$.main(Wordcount.scala:7)
at WordCount.main(Wordcount.scala)