分享

在eclipse执行spark-submit yarn-client出现错误

iceberg 发表于 2017-1-17 03:13:10 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 3 12411
本帖最后由 iceberg 于 2017-1-17 03:22 编辑

各位先进好:

不知道这问题是不是在这边提问
我照著书上在eclipse 选 spark-submit yarn-clien 执行 wordCount.py 结果出现无法执行的状况
显示错误如下:
                     Error: Cannot load main class from JAR file:/home/hduser/pythonwork/PythonProject/client
                     Run with --help for usage help or --verbose for debug output
已经找了好久真的不知道哪里出了问题了
麻烦请版上的大大指导一下
                                      谢谢!

已有(3)人评论

跳转到指定楼层
easthome001 发表于 2017-1-17 09:20:48
不能加载本地包,1.环境变量是否配置了
2.包是否存在

3.可以debug下,推荐参考
https://community.hortonworks.co ... mote-debugging.html
回复

使用道具 举报

nextuser 发表于 2017-1-17 13:28:41
书只是一方面,可能写的不全。多找此类资料
另外确保所有的包都加载进来,然后代码没有问题。
下面是一个例子,可对比参考
WordCount代码如下:

[mw_shl_code=python,true]如何运行Python版本的WordCount


import sys
from operator import add

from pyspark import SparkContext

if __name__ == "__main__":
    if len(sys.argv) != 2:
        print >> sys.stderr, "Usage: wordcount <file>"
        exit(-1)
    sc = SparkContext(appName="PythonWordCount")
    lines = sc.textFile(sys.argv[1], 1)
    counts = lines.flatMap(lambda x: x.split(' ')) \
                  .map(lambda x: (x, 1)) \
                  .reduceByKey(add)
    output = counts.collect()
    for (word, count) in output:
        print "%s: %i" % (word, count)
[/mw_shl_code]


输入文件路径可以是本地也可以是HDFS上文件,命令如下:

[hadoop@centos spark-1.0.0-bin-hadoop1]$ bin/spark-submit --master spark://centos.host1:7077 /home/hadoop/project/WordCount.py /home/hadoop/temp/word.txt

[hadoop@centos spark-1.0.0-bin-hadoop1]$ bin/spark-submit --master spark://centos.host1:7077 /home/hadoop/project/WordCount.py hdfs://centos.host1:9000/user/hadoop/data/wordcount/001/word.txt

可以看到控制台有如下结果:

spark: 1

hbase: 2

hive: 2

zookeeper: 1

hadoop: 4

pig: 1
回复

使用道具 举报

iceberg 发表于 2017-1-18 09:55:08
本帖最后由 iceberg 于 2017-1-18 14:53 编辑

非常感谢各位先进解答
我找了还是找不出原因
我用spark-submit是能够执行的
但是用spark-submit yarn-client就会出现错误此外我内容输入都没有错
但是不知道为什么都会出现红色的错误标示?一开始的时候是没有那些错误的,在我执行了几次以后就出现了错误讯息
所以上传一下图片,麻烦先进们指点一下我哪里有问题,谢谢!因为我是新手所以两位先进提供的方法我会想办法看懂然后试试看!谢谢!

Image 1.jpg
Image 2.jpg
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条