在eclipse执行spark-submit yarn-client出现错误

查看数: 12416 | 评论数: 3 | 收藏 0
关灯 | 提示:支持键盘翻页<-左 右->
    组图打开中,请稍候......
发布时间: 2017-1-17 03:13

正文摘要:

本帖最后由 iceberg 于 2017-1-17 03:22 编辑 各位先进好: 不知道这问题是不是在这边提问 我照著书上在eclipse 选 spark-submit yarn-clien 执行 wordCount.py 结果出现无法执行的状况 显示错误如下: &nb ...

回复

nextuser 发表于 2017-1-17 13:28:41
书只是一方面,可能写的不全。多找此类资料
另外确保所有的包都加载进来,然后代码没有问题。
下面是一个例子,可对比参考
WordCount代码如下:

[mw_shl_code=python,true]如何运行Python版本的WordCount


import sys
from operator import add

from pyspark import SparkContext

if __name__ == "__main__":
    if len(sys.argv) != 2:
        print >> sys.stderr, "Usage: wordcount <file>"
        exit(-1)
    sc = SparkContext(appName="PythonWordCount")
    lines = sc.textFile(sys.argv[1], 1)
    counts = lines.flatMap(lambda x: x.split(' ')) \
                  .map(lambda x: (x, 1)) \
                  .reduceByKey(add)
    output = counts.collect()
    for (word, count) in output:
        print "%s: %i" % (word, count)
[/mw_shl_code]


输入文件路径可以是本地也可以是HDFS上文件,命令如下:

[hadoop@centos spark-1.0.0-bin-hadoop1]$ bin/spark-submit --master spark://centos.host1:7077 /home/hadoop/project/WordCount.py /home/hadoop/temp/word.txt

[hadoop@centos spark-1.0.0-bin-hadoop1]$ bin/spark-submit --master spark://centos.host1:7077 /home/hadoop/project/WordCount.py hdfs://centos.host1:9000/user/hadoop/data/wordcount/001/word.txt

可以看到控制台有如下结果:

spark: 1

hbase: 2

hive: 2

zookeeper: 1

hadoop: 4

pig: 1
easthome001 发表于 2017-1-17 09:20:48
不能加载本地包,1.环境变量是否配置了
2.包是否存在

3.可以debug下,推荐参考
https://community.hortonworks.co ... mote-debugging.html
关闭

推荐上一条 /2 下一条