分享

Spark 写好程序提交就报错 java.lang.NoSuchMethodError: scala.collection.immuta...

yunge2016 发表于 2017-7-25 16:19:38 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 6 11411

Spark写了一个统计分析的例子,分析网站日志的受欢迎访问的字页面排名。现在运行报错。
java.lang.NoSuchMethodError: scala.collection.immutable.HashSet$.empty()Lscala/collection/immutable/HashSet
代码中没有错误出现

17/07/25 16:15:42 INFO SecurityManager: Changing view acls to: lianhua
17/07/25 16:15:42 INFO SecurityManager: Changing modify acls to: lianhua
17/07/25 16:15:42 INFO SecurityManager: SecurityManager: authentication disabled; ui acls disabled; users with view permissions: Set(lianhua); users with modify permissions: Set(lianhua)
17/07/25 16:15:43 INFO Utils: Successfully started service 'sparkDriver' on port 51836.
Exception in thread "main" java.lang.NoSuchMethodError: scala.collection.immutable.HashSet$.empty()Lscala/collection/immutable/HashSet;
        at akka.actor.ActorCell$.<init>(ActorCell.scala:336)
        at akka.actor.ActorCell$.<clinit>(ActorCell.scala)
        at akka.actor.RootActorPath.$div(ActorPath.scala:185)
        at akka.actor.LocalActorRefProvider.<init>(ActorRefProvider.scala:465)
        at akka.remote.RemoteActorRefProvider.<init>(RemoteActorRefProvider.scala:124)
        at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
        at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
        at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
        at java.lang.reflect.Constructor.newInstance(Constructor.java:408)
        at akka.actor.ReflectiveDynamicAccess$$anonfun$createInstanceFor$2.apply(DynamicAccess.scala:78)
        at scala.util.Try$.apply(Try.scala:192)
        at akka.actor.ReflectiveDynamicAccess.createInstanceFor(DynamicAccess.scala:73)
        at akka.actor.ReflectiveDynamicAccess$$anonfun$createInstanceFor$3.apply(DynamicAccess.scala:84)
        at akka.actor.ReflectiveDynamicAccess$$anonfun$createInstanceFor$3.apply(DynamicAccess.scala:84)
        at scala.util.Success.flatMap(Try.scala:231)
        at akka.actor.ReflectiveDynamicAccess.createInstanceFor(DynamicAccess.scala:84)
        at akka.actor.ActorSystemImpl.liftedTree1$1(ActorSystem.scala:585)
        at akka.actor.ActorSystemImpl.<init>(ActorSystem.scala:578)
        at akka.actor.ActorSystem$.apply(ActorSystem.scala:142)
        at akka.actor.ActorSystem$.apply(ActorSystem.scala:119)
        at org.apache.spark.util.AkkaUtils$.org$apache$spark$util$AkkaUtils$$doCreateActorSystem(AkkaUtils.scala:121)
        at org.apache.spark.util.AkkaUtils$$anonfun$1.apply(AkkaUtils.scala:53)
        at org.apache.spark.util.AkkaUtils$$anonfun$1.apply(AkkaUtils.scala:52)
        at org.apache.spark.util.Utils$$anonfun$startServiceOnPort$1.apply$mcVI$sp(Utils.scala:1988)
        at scala.collection.immutable.Range.foreach$mVc$sp(Range.scala:160)
        at org.apache.spark.util.Utils$.startServiceOnPort(Utils.scala:1979)
        at org.apache.spark.util.AkkaUtils$.createActorSystem(AkkaUtils.scala:55)
        at org.apache.spark.SparkEnv$.create(SparkEnv.scala:266)
        at org.apache.spark.SparkEnv$.createDriverEnv(SparkEnv.scala:193)
        at org.apache.spark.SparkContext.createSparkEnv(SparkContext.scala:288)
        at org.apache.spark.SparkContext.<init>(SparkContext.scala:457)
        at web_data$.main(web_data.scala:9)
        at web_data.main(web_data.scala)

Process finished with exit code 1

求助,感谢

已有(6)人评论

跳转到指定楼层
desehawk 发表于 2017-7-25 16:34:25
spark与Scala版本是否兼容
回复

使用道具 举报

yunge2016 发表于 2017-7-25 17:51:22
Spark是2.1.0的,Scala是 2.11.8版本的。都支持的。官网下载就是对应的版本,应该不是这里的问题。查了一下好像是maven的问题,可能是jar包存在不同的版本
回复

使用道具 举报

desehawk 发表于 2017-7-25 18:13:27
yunge2016 发表于 2017-7-25 17:51
Spark是2.1.0的,Scala是 2.11.8版本的。都支持的。官网下载就是对应的版本,应该不是这里的问题。查了一下 ...

不同jar版本,其实还是版本问题。
建议更换试试。
例如
Scala 2.10.6
回复

使用道具 举报

yunge2016 发表于 2017-7-25 18:43:49
现在切换到2.10.0版本的scala了。在intelIDEA 运行的程序,本地运行。报错还是一样的。没有在spark集群运行。
回复

使用道具 举报

qcbb001 发表于 2017-7-25 21:28:41
yunge2016 发表于 2017-7-25 18:43
现在切换到2.10.0版本的scala了。在intelIDEA 运行的程序,本地运行。报错还是一样的。没有在spark集群运行 ...

那你集群的版本与本地开发的版本要保持一致,否则可能也会出现问题。
回复

使用道具 举报

yunge2016 发表于 2017-7-26 07:55:40
那好吧,我试试,setMaster设置为local本地模式。和集群理论上没有关系吧。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条