Flink web ui 使用简介
本帖最后由 fc013 于 2019-5-31 18:35 编辑问题导读
1.怎样在Flink的web ui中查看job的详细信息？
2.怎样在Flink的web ui中查看已经完成的job的详细信息？
3.怎样在Flink的web ui中提交新的job？
最近也是由于电脑出了一点问题,就没有更新,今天主要来介绍一下Flink的web ui的使用,我们先提交一个job上去(我的集群是on yarn的),命令如下:
flink run-m yarn-cluster -c flink.window.FlinkWindowDemo -yn 2 -ys 4 -nm hbase -yjm 2048 -ytm 2048 -p 9 /home/jason/bigdata/jar/flink-1.0-SNAPSHOT.jar -d
提交后稍微等一会儿,因为Flink的UI反应还是有点慢,首页如下,可以看到整个UI界面还是比较简陋的,当然了后面阿里会有优化.
先看左边的菜单栏,我们一个一个介绍
1,概述,可以看到中间显示了我们这个job申请的tm个数,task slots个数,和可用的task slots数,右边显示了总共的job,正在运行的job,以及完成的,取消的,和失败的job的个数,下面是正在运行的job的列表,和完成的job的列表
2,然后我们点击正在运行的job进去,就可以看到我们刚才提交的job的详细信息,如下图所示.
可以看到上面是job的DAG图,下面是子任务,任务监控,水印,累加器,检查点,被压,里面具体的就不详细说了,大家可以自己点进去都看一下.可以看到我们设置的任务并发度,接受数据的个数,等信息.
3,已经完成的job,这个是需要配置history-server的,并启动,然后才可以看到,这里不详细说,后面会有介绍.
4,tm我们直接点进去看一下,如下图所示
可以看到tm的详细配置信息,内存,cpu等资源信息.点击第二个logs,就可以看到tm的日志,但是会比较卡,因为所有的日志都在一个文件里面,接着主要说一下第三个stdout,这里面可以看到我们打印的结果信息,这里为了方便看,我向kafka写了一些数据,如下
但是这个地方需要注意,测试的时候我们可以打印,线上一定不要写print.因为数据量大的时候会直接把这个页面卡死,加载不出来.切记.
5,jm就不在说了,跟tm差不多,会显示在conf里面配置的所有配置信息,直接看下面的图片吧
6,最后一个提交新的job,Flink不仅支持用命令提交任务,也支持在页面提交任务,接下来我们就在页面上提交一个任务
点击add new按钮,会弹出选择jar包,我们还选择刚才那个.然后右边有显示一个upload按钮,点击upload后,右边会显示一个进度条,上次成功如下图(注意jar包尽量打的小一点,不然会很慢)
点击箭头所指的小方框,会显示如下的界面
参数我就简单的配置了一下,点击提交按钮,会直接跳转到下面的界面
当然这个和上面那个一样哈,因为就是执行的同一个类,然后我们回去到运行的任务界面,可以看到会有两个job在运行
Flink的web ui整体看上去还是比较简单的,而且加载的也有点慢,logs也打印的比较乱,不太好找,而且输出当数据量大的时候页面会直接卡死,用户体验一般,当然了目前阿里的Blink已经重新设计了UI界面,包括性能,日志啊,整体的风格都发生了很大的变化,后面会带来Blink的体验.也会有更多的客户端的操作介绍.
最新经典文章，欢迎关注公众号http://www.aboutyun.com/data/attachment/forum/201903/18/215536lzpn7n3u7m7u90vm.jpg
---------------------
作者：JasonLee'blog
来源：CSDN
原文：https://blog.csdn.net/xianpanjia4616/article/details/88958504
感谢分享
页:
[1]