分享

spark jobhistory 查看问题

xw2016 发表于 2016-6-23 23:28:51 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 6 8307
问题:
spark-shell运行命令,action后:
sc.stop()
exit
退出后再到WEB UI上查看:
history查看不了.png
然而:直接到hdfs文件系统中查看是生成了日志的,如:
[hadoop@yun01-nn-01 spark]$ hadoop fs -ls /user/spark/sparkhistory
Found 5 items
-rwxrwx---   3 hadoop supergroup      11242 2016-06-22 23:59 /user/spark/sparkhistory/app-20160622235553-0001.snappy
-rwxrwx---   3 hadoop supergroup       8302 2016-06-23 00:11 /user/spark/sparkhistory/app-20160623000742-0000.snappy
-rwxrwx---   3 hadoop supergroup       3622 2016-06-23 00:23 /user/spark/sparkhistory/app-20160623002043-0000.snappy
-rwxrwx---   3 hadoop supergroup       8311 2016-06-23 00:34 /user/spark/sparkhistory/app-20160623002431-0001.snappy
-rwxrwx---   3 hadoop supergroup       8304 2016-06-23 00:46 /user/spark/sparkhistory/app-20160623004355-0000.snappy


配置:
spark-env.sh
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_LIBARY_PATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$HADOOP_HOME/lib/native
export SPARK_MASTER_ID=yun01-nn-01
export SPARK_MASTER_PORT=7077
export SPARK_WORK_CORES=1
export SPARK_WORK_INSTANCES=1
export SPARK_WORK_MEMORY=1g
export SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://yun01-nn-01:9000/user/spark/sparkhistory"


spark-defaults.conf:
spark.master                       spark://yun01-nn-01:7077
spark.eventLog.enabled             true
spark.eventLog.dir                 hdfs://yun01-nn-01:9000/user/spark/sparkhistory
spark.eventLog.compress            false


求解。

已有(6)人评论

跳转到指定楼层
tntzbzc 发表于 2016-6-24 07:09:15
是不是端口错了
hdfs://yun01-nn-01:9000/user/spark/sparkhistory
回复

使用道具 举报

xw2016 发表于 2016-6-24 09:54:52
tntzbzc 发表于 2016-6-24 07:09
是不是端口错了
hdfs://yun01-nn-01:9000/user/spark/sparkhistory

端口没错的,我读取文件就用这个端口
回复

使用道具 举报

einhep 发表于 2016-6-24 11:51:02
xw2016 发表于 2016-6-24 09:54
端口没错的,我读取文件就用这个端口

楼主后缀名加上
回复

使用道具 举报

xw2016 发表于 2016-6-24 13:56:16
einhep 发表于 2016-6-24 11:51
楼主后缀名加上

什么意思?没看懂。
回复

使用道具 举报

einhep 发表于 2016-6-24 14:54:28
xw2016 发表于 2016-6-24 13:56
什么意思?没看懂。

/user/spark/sparkhistory/app-20160622235553-0001.snappy
回复

使用道具 举报

xw2016 发表于 2016-6-24 22:43:32
已解决,去掉spark-env.sh中前三个配置即可。可能有影响,
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条