分享

Spark运行报check your cluster UI to ensure that workers are registered and ha...

pandatyut 发表于 2016-6-1 19:42:18 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 2 6423
CDH5.7采用的离线全安装,运行spark-shell的时候报错,命令如下:
val rdd1=sc.textFile("hdfs://master:8020/test/sparkData/SogouQ.sample")

rdd1.cache()

var rdd2=rdd1.flatMap(_.split("        ")).map(x=>(x,1)).reduceByKey(_+_)

rdd2.take(10)


简单的wordCount程序,但是报错如下:
16/06/01 19:41:02 WARN cluster.YarnScheduler: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
求解决办法

已有(2)人评论

跳转到指定楼层
langke93 发表于 2016-6-1 20:06:25
是否有僵尸进程,有的话,先杀掉。可以使用下面命令

yarn application -list
yarn application -kill <jobid>

回复

使用道具 举报

pandatyut 发表于 2016-6-2 16:22:27
langke93 发表于 2016-6-1 20:06
是否有僵尸进程,有的话,先杀掉。可以使用下面命令

yarn application -list

使用yarn application -list没有任务正在执行,如下:[root@master ~]# yarn application -list
16/06/02 16:16:53 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.0.211:8032
Total number of applications (application-types: [] and states: [SUBMITTED, ACCEPTED, RUNNING]):0
                Application-Id      Application-Name        Application-Type          User           Queue                   State             Final-State             Progress                        Tracking-URL
然后我试着重新spark执行还是报错

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条