分享

spark启动后没有work进程

xw2016 发表于 2016-5-27 23:20:51 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 4 13002


如上图启动后没有work进程,什么原因呢?
spark-env.sh配置如下:
export JAVA_HOME=/application/hadoop/jdk
export SCALA_HOME=/application/hadoop/scala
export SPARK_WORKER_MEMORY=1g
export SPARK_MASTER_IP=yun01-nn-01
export HADOOP_CONF_DIR=/application/hadoop/hadoop/etc/hadoop
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_HOME/lib/native"

已有(4)人评论

跳转到指定楼层
nextuser 发表于 2016-5-28 06:28:21
启动错误,到spark运行日志中看看,应该有相关错误

回复

使用道具 举报

xw2016 发表于 2016-5-28 07:59:41
nextuser 发表于 2016-5-28 06:28
启动错误,到spark运行日志中看看,应该有相关错误

我再查下,好像上次就是没看到有错。
回复

使用道具 举报

xw2016 发表于 2016-5-28 08:11:02
nextuser 发表于 2016-5-28 06:28
启动错误,到spark运行日志中看看,应该有相关错误

查过了,后台没报错,我到yun01-nn02上看有work进程:

[hadoop@yun01-nn-02 bin]$ jps
11751 DataNode
12077 NodeManager
11852 JournalNode
12533 Jps
11673 NameNode
11977 DFSZKFailoverController
12264 Worker
[hadoop@yun01-nn-02 bin]$


yun01-nn-01是master,yun01-nn-02是slave.在yun01-nn-02上也可以运行,但WEB上还是没有显示效果。
回复

使用道具 举报

xw2016 发表于 2016-5-29 22:59:04
知道原因了,yun01-nn-01是只有master,另三台服务器上才有work。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条