分享

spark on yarn UI界面问题

xw2016 发表于 2016-6-11 22:41:08 [显示全部楼层] 回帖奖励 阅读模式 关闭右栏 0 5852
spark on yarn 配置spark-env.sh:
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export SPARK_MASTER_IP=192.168.56.11
SPARK_LOCAL_DIRS=/application/hadoop/spark
SPARK_DRIVER_MEMORY=1G
export SPARK_LIBARY_PATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$HADOOP_HOME/lib/native


若使用standalone启动,在yun01-dn-01(192.168.56.13) 上启动spark-shell,
在浏览器访问:http://192.168.56.11:8080, http://192.168.56.13:4040, 均可以正常显示
若使用spark on yarn:
在192.168.56.13 上:bin/spark-shell --master yarn-client --executor-memory 1g
在浏览器访问:http://192.168.56.11:8088 可以查看,但是 http://192.168.56.13:4040 打不开。



没找到任何评论,期待你打破沉寂

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条