分享

怎么测试spark是否成功

xw2016 发表于 2016-5-28 23:19:31 [显示全部楼层] 只看大图 回帖奖励 阅读模式 关闭右栏 4 8469
运行spark自带示例没报错,但在web界面看不到效果?还有其它方法验证吗?或者谁发个程序来测试下?

已有(4)人评论

跳转到指定楼层
qcbb001 发表于 2016-5-29 06:45:42
楼主尝试下面:


每一个SparkContext发布一个web界面,默认端口是4040,它显示了应用程序的有用信息。这包括:

Ø  一系列的调度阶段和任务

Ø  对于RDD大小和内存使用的总结

Ø  环境信息

Ø  运行的执行器(executor)的信息

     你可以通过浏览器访问http://<driver-node>:4040,当然,你必去先启动SparkContext。比如命令:./bin/spark-shell,出现下面的web界面信息:
1.png

如果某台机器上运行多个SparkContext,它的web端口会自动连续加一,比如4041,4042,4043等。为了浏览持久的事件日志,设置park.eventLog.enabled就可以了。



回复

使用道具 举报

xw2016 发表于 2016-5-29 10:49:04
qcbb001 发表于 2016-5-29 06:45
楼主尝试下面:

谢谢了,我试下
回复

使用道具 举报

xw2016 发表于 2016-5-30 09:23:38
直接开启一个spark-shell,在web界面就可以看到效果的,不用示例之类。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

推荐上一条 /2 下一条