Flink源码分析1:之快速找到SubTask所在机器及执行进程

问题导读：
1、如何找到Task对应的SubTask1在哪台机器的哪个进程执行？
2、如何访问rest api获取Task的vertice id？
3、如何获取对应task的SubTask所在机器和端口？
4、怎么快速找到该SubTask到底在哪台机器，哪个进程？



痛点：假如我们在FLink的WebUI Metrics页面发现有一个SubTask每秒处理的数据明显比其他低，又或者在CheckPoint页面，发现有一个SubTask的CheckPoint时间明显比较长。有时候定位问题需要到TaskManager所在机器找到相应的Java进程使用jmap分析进程的内存使用或者jstack分析线程信息。现在问题来了，如果你知道某个SubTask已经有问题了，怎么快速找到该SubTask到底在哪台机器，哪个进程呢？



图1中可以看出Task “Flat Map -> Sink: Kafka Topic : pv-event”对应的SubTask11相对其他SubTask处理速率比较慢

图2中可以看出Task “Flat Map -> Sink: Kafka Topic : pv-event”对应的SubTask1相对其他SubTask执行CheckPoint很慢。这里有一点比较坑，Flink内所有的地方SubTask下标都是从0开始，但是这个CheckPoint页面，SubTask从1开始，所以这里显示的是SubTask1有问题，实际上是Task “Flat Map -> Sink: Kafka Topic : pv-event”的SubTask0有问题，这里我看了接口返回的数据也是从0开始，但是WebUI显示的时候进行了加1，我们解决问题的时候，必须要手动减1操作

接下来，教大家如何找到Task “Flat Map -> Sink: Kafka Topic : pv-event”对应的SubTask1在哪台机器的哪个进程执行。首先必须知道rest api的host和port，也就是我们要访问api的前缀，进入flink Web UI后直接复制前缀即可。后面讲述用到这个前缀的地方，我都使用 ${prefix} 来代替


如果yarn模式运行，前缀格式可能是以下proxy格式

1、 访问rest api获取Task “Flat Map -> Sink: Kafka Topic : pv-event”的vertice id

[mw_shl_code=shell,true]   api格式：（这里的jid可以从job的页面看到，图2CheckPoint时长页面左上角红圈已标注）
   ${prefix}/jobs/${jid}

   示例：
   ${prefix}/jobs/96664f69ec9676bbe47dd66119b1ab82[/mw_shl_code]

访问rest api会返回json，我们可以看到返回两个Task的vertice id

<img src="http://fanrui-blog-picture.oss-cn-beijing.aliyuncs.com/image-1570161029931.png" alt="获取vertice id.png" style="zoom:100%;" />

2、 获取对应task的SubTask所在机器和端口

[mw_shl_code=shell,true]   api格式：
   ${prefix}/jobs/${jid}/vertices/${vertice id}

   api示例：
   ${prefix}/jobs/96664f69ec9676bbe47dd66119b1ab82/vertices/8385f8a9697de59d3b3113ecefb3e969[/mw_shl_code]


图中表示Task “Flat Map -> Sink: Kafka Topic : pv-event”的SubTask1在dn218这台机器，对应的端口号20131

3、 登录对应的服务器，执行 lsof -i tcp:${port}即可返回相应TaskManager进程的pid
[mw_shl_code=shell,true]
   lsof -i tcp:20131
   COMMAND   PID USER   FD   TYPE     DEVICE SIZE/OFF NODE NAME
   java    65056 yarn  211u  IPv4 2630110175      0t0  TCP dn218[/mw_shl_code]

可以看到yarn用户起的任务，所以如果想对该pid执行jmap或者jstack时，一定在切到yarn用户下
[mw_shl_code=shell,true]   su yarn
   cd ~
   jmap -dump:format=b,file=heapdump.phrof ${pid}
   jstack ${pid} > thread.log
[/mw_shl_code]

作者：范瑞 fanrui
来源：https://mp.weixin.qq.com/s/CZeed5ftWt8ioqpmEAq2lQ

最新经典文章，欢迎关注公众号

感谢分享